学习自然语言模型中的用户-实体差分隐私
密码学与安全
2022-11-10 v2 计算与语言
机器学习
摘要
在本文中,我们引入一种新颖的用户-实体差分隐私(UeDP)概念,以在学习的自然语言模型(NLMs)中同时为保护文本数据中的敏感实体和数据所有者提供形式化隐私保护。为保留 UeDP,我们开发了一种称为 UeDP-Alg 的新算法,通过由无缝结合用户与敏感实体采样过程导出的紧致敏感度界,优化隐私损失与模型效用之间的权衡。广泛的理论分析与评估表明,在多个 NLM 任务上使用基准数据集,我们的 UeDP-Alg 在相同隐私预算消耗下模型效用优于基线方法。
引用
@article{arxiv.2211.01141,
title = {User-Entity Differential Privacy in Learning Natural Language Models},
author = {Phung Lai and NhatHai Phan and Tong Sun and Rajiv Jain and Franck Dernoncourt and Jiuxiang Gu and Nikolaos Barmpalios},
journal= {arXiv preprint arXiv:2211.01141},
year = {2022}
}
备注
Accepted at IEEE BigData 2022