BERT 模型的差分隐私与联邦学习基准测试
计算与语言
2022-06-17 v2 密码学与安全
机器学习
摘要
自然语言处理（NLP）技术可应用于帮助诊断抑郁症等医疗状况，使用个人的话语集合。抑郁症是一种严重的医学疾病，会对一个人的感受、思维和行动产生不利影响，并可能导致情感和身体问题。由于此类数据的敏感性，在处理和使用此类数据训练模型时需要采取隐私措施。在这项工作中，我们研究了在集中式和联邦学习（FL）设置中应用差分隐私（DP）对训练上下文化语言模型（BERT、ALBERT、RoBERTa 和 DistilBERT）的影响。我们提供了关于如何私下训练 NLP 模型以及哪些架构和设置能提供更理想的隐私-效用权衡的见解。我们设想这项工作可用于未来的医疗和心理健康研究，以保密病史。因此，我们提供了这项工作的开源实现。
引用
@article{arxiv.2106.13973,
title = {Benchmarking Differential Privacy and Federated Learning for BERT Models},
author = {Priyam Basu and Tiasa Singha Roy and Rakshit Naidu and Zumrut Muftuoglu and Sahib Singh and Fatemehsadat Mireshghallah},
journal= {arXiv preprint arXiv:2106.13973},
year = {2022}
}
备注
4 pages, 3 tables, 1 figure