通过私有联邦学习训练资源受限设备上的大词表神经语言模型
机器学习
2022-07-20 v1 计算与语言
密码学与安全
摘要
联邦学习（FL）是一种利用分布在各设备上的数据训练模型的技术。差分隐私（DP）为敏感数据提供形式化的隐私保证。我们的目标是在计算受限设备上训练大型神经网络语言模型（NNLM），同时使用 FL 与 DP 保护隐私。然而，引入模型的 DP 噪声随模型尺寸增大而增加，常导致无法收敛。我们提出部分嵌入更新（PEU），一种通过减小负载大小来降低噪声的新技术。此外，我们采用低秩适配（LoRA）与噪声对比估计（NCE）以降低计算受限设备上大模型的内存需求。这一技术组合使得在保持准确率与隐私的同时训练大词表语言模型成为可能。
引用
@article{arxiv.2207.08988,
title = {Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices},
author = {Mingbin Xu and Congzheng Song and Ye Tian and Neha Agrawal and Filip Granqvist and Rogier van Dalen and Xiao Zhang and Arturo Argueta and Shiyi Han and Yaqiao Deng and Leo Liu and Anmol Walia and Alex Jin},
journal= {arXiv preprint arXiv:2207.08988},
year = {2022}
}