KART：预训练语言模型隐私泄漏场景的参数化
计算与语言
2022-03-18 v2
摘要
为安全共享预训练语言模型，目前由于缺乏估算隐私泄漏风险上界的困难而尚无指南。一个问题在于，以往研究针对不同的现实世界隐私泄漏场景与攻击方法评估了风险，这降低了研究结论的可移植性。为解决该问题，我们将复杂的现实世界隐私泄漏场景统一表示为一种通用参数化，即知识、匿名化、资源与目标（KART）。KART 参数化具有两个优点：（i）它厘清了各实验中隐私泄漏的定义；（ii）它提升了风险评估结论的可比性。我们表明，以往研究可通过用 KART 对场景进行参数化而得以简要回顾。我们还展示了在相同攻击方法下不同场景中的隐私风险评估，这表明 KART 有助于逼近特定攻击或场景下的风险上界。我们相信 KART 有助于整合过去与未来关于隐私风险的发现，并将为语言模型共享标准做出贡献。
引用
@article{arxiv.2101.00036,
title = {KART: Parameterization of Privacy Leakage Scenarios from Pre-trained Language Models},
author = {Yuta Nakamura and Shouhei Hanaoka and Yukihiro Nomura and Naoto Hayashi and Osamu Abe and Shuntaro Yada and Shoko Wakamiya and Eiji Aramaki},
journal= {arXiv preprint arXiv:2101.00036},
year = {2022}
}