隐私正则化：语言模型中的隐私与效用联合优化
机器学习
2021-04-19 v2 计算与语言
密码学与安全
摘要
已知神经语言模型具有高容量的训练样本记忆能力。当在诸如电子邮件通信等用户内容上训练模型时，这可能会产生严重的隐私问题。差分隐私（DP）是一种流行的用于训练具有隐私保证的模型的选择，但其在效用退化和对用户子群体的差异性影响方面带来了显著代价。在这项工作中，我们引入了两种用于训练语言模型的隐私保护正则化方法，通过（1）使用判别器和（2）引入三元组损失项来实现效用与隐私的联合优化。我们通过广泛评估将我们的方法与 DP 进行比较。我们展示了我们的正则化器的优势，包括良好的效用-隐私权衡、更快的训练速度以及能够利用现有优化方法，并确保对代表性不足的子群体进行统一处理。
引用
@article{arxiv.2103.07567,
title = {Privacy Regularization: Joint Privacy-Utility Optimization in Language Models},
author = {Fatemehsadat Mireshghallah and Huseyin A. Inan and Marcello Hasegawa and Victor Rühle and Taylor Berg-Kirkpatrick and Robert Sim},
journal= {arXiv preprint arXiv:2103.07567},
year = {2021}
}
备注
NAACL-HLT 2021 Paper