面向自然语言处理的差分隐私表示：形式化保证与隐私及公平性的实证研究
机器学习
2020-10-06 v1 密码学与安全
机器学习
摘要
已有研究表明，深度模型学习的隐表示会编码输入的隐私信息，因此可被利用以合理精度恢复此类信息。为解决该问题，我们提出一种称为差分隐私神经表示（DPNR）的新方法来保护从文本中提取的表示的隐私。DPNR 利用差分隐私（DP）提供形式化隐私保证。进一步，我们展示通过 dropout 掩蔽词可进一步增强隐私。为保持所学表示的效用，我们将 DP 加噪表示整合进鲁棒训练过程以导出鲁棒目标模型，这也有助于模型在各种人口统计变量上的公平性。在基准数据集上不同参数设置下的实验结果表明，DPNR 大幅减少了隐私泄露，同时未显著牺牲主任务性能。
引用
@article{arxiv.2010.01285,
title = {Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness},
author = {Lingjuan Lyu and Xuanli He and Yitong Li},
journal= {arXiv preprint arXiv:2010.01285},
year = {2020}
}
备注
accepted to Findings of EMNLP 2020