基于注意力聚合的私有神经语言建模学习
计算与语言
2020-09-22 v2 机器学习
摘要
移动端键盘联想通常被视为词级语言建模问题。集中式机器学习技术需要收集大量用户数据进行训练，这可能引发对用户敏感个人输入数据的隐私担忧。联邦学习（FL）通过在分布式客户端而非中央服务器训练模型，为智能个性化键盘联想的私有语言建模提供了有前景的方法。为获得用于预测的全局模型，现有 FL 算法简单地对客户端模型取平均，忽略了模型聚合时各客户端的重要性。此外，对于在中央服务器上学习泛化良好的全局模型并无优化。为解决这些问题，我们提出了一种结合注意力机制的新颖模型聚合方法，考虑客户端模型对全局模型的贡献，并辅以服务器聚合期间的优化技术。我们提出的注意力聚合方法通过迭代参数更新最小化服务器模型与客户端模型之间的加权距离，同时关注服务器模型与客户端模型之间的距离。通过在两个流行语言建模数据集和一个社交媒体数据集上的实验，我们提出的方法在多数对比设置下于困惑度与通信成本方面优于同类方法。
引用
@article{arxiv.1812.07108,
title = {Learning Private Neural Language Modeling with Attentive Aggregation},
author = {Shaoxiong Ji and Shirui Pan and Guodong Long and Xue Li and Jing Jiang and Zi Huang},
journal= {arXiv preprint arXiv:1812.07108},
year = {2020}
}
备注
8 pages, 5 figures, to appear in IJCNN 2019