面向私有联邦学习语言模型训练的种群扩展
机器学习
2023-07-17 v1 计算与语言
密码学与安全
摘要
联邦学习（FL）与差分隐私（DP）相结合，提供了基于分布式设备的机器学习（ML）训练并带有形式化隐私保证。在设备种群规模庞大时，FL 配 DP 能及时产出高性能模型。然而，对于种群较小的应用，不仅由于 DP 噪声与种群成反比导致模型效用退化，而且训练延迟也会增加——因为从较小设备池中等待足够客户端可用更慢。因此，在本工作中，我们提出基于域适应技术扩展种群，以在小种群训练时加速训练并提升最终模型质量。我们经实证表明，在真实世界语言建模数据集上，我们的技术可将效用提升 13% 至 30%。
引用
@article{arxiv.2307.07477,
title = {Population Expansion for Training Language Models with Private Federated Learning},
author = {Tatsuki Koga and Congzheng Song and Martin Pelikan and Mona Chitnis},
journal= {arXiv preprint arXiv:2307.07477},
year = {2023}
}