语言模型联邦学习中的隐私文本恢复
计算与语言
2022-10-19 v2 密码学与安全
机器学习
摘要
联邦学习允许分布式用户协作训练模型，同时保持每个用户数据的私密性。最近，越来越多的研究表明，窃听攻击者可以有效地从联邦学习过程中传输的梯度恢复图像数据。然而，在恢复文本数据方面进展甚微。本文提出了一种针对语言模型（LM）联邦学习的新型攻击方法 FILM。我们首次展示了从高达 128 个句子的大批量数据中恢复文本的可行性。与优化匹配梯度的图像恢复方法不同，我们采用了一种独特的方法：首先从梯度中识别出一组单词，然后基于束搜索和基于先验的重排序策略直接重建句子。我们在多个大规模数据集上实施了 FILM 攻击，并表明它能够以高保真度成功重建大批量下的单个句子，如果迭代应用，甚至可以重建多个句子。我们评估了三种防御方法：梯度剪枝、DPSGD 以及我们提出的一种简单的冻结词嵌入方法。我们表明，梯度剪枝和 DPSGD 都会导致模型效用显著下降。然而，如果我们在不更新词嵌入的情况下，在私有文本上微调一个公开的预训练语言模型，则可以有效防御攻击，同时将数据效用损失降至最低。总之，我们希望我们的结果能鼓励社区重新思考语言模型训练的隐私问题及其未来的标准实践。
引用
@article{arxiv.2205.08514,
title = {Recovering Private Text in Federated Learning of Language Models},
author = {Samyak Gupta and Yangsibo Huang and Zexuan Zhong and Tianyu Gao and Kai Li and Danqi Chen},
journal= {arXiv preprint arXiv:2205.08514},
year = {2022}
}
备注
NeurIPS 2022. Code is publicly available at https://github.com/Princeton-SysML/FILM. v2 added discussion and evaluation of defenses