移动键盘中用于表情符号预测的联邦学习
计算与语言
2019-06-12 v1 机器学习
摘要
我们展示了一个词级循环神经网络可以根据移动键盘上输入的文本预测表情符号。我们通过使用语言建模任务预训练模型，证明了迁移学习在表情符号预测中的有效性。我们还提出了触发表情符号和调节候选多样性的机制。该模型使用一种称为联邦学习的分布式设备端学习框架进行训练。结果表明，联邦模型比服务器端训练的模型取得了更好的性能。这项工作证明了使用联邦学习在用户数据保留在设备上的同时，为自然语言理解任务训练生产级质量模型的可行性。
引用
@article{arxiv.1906.04329,
title = {Federated Learning for Emoji Prediction in a Mobile Keyboard},
author = {Swaroop Ramaswamy and Rajiv Mathews and Kanishka Rao and Françoise Beaufays},
journal= {arXiv preprint arXiv:1906.04329},
year = {2019}
}