面向通用建议回复模型的语言扩展
计算与语言
2021-06-07 v1 人工智能
摘要
我们考虑将 Outlook 邮件系统的自动建议回复扩展至多语言的问题。面对日益增长的计算需求与语言扩展的低资源困境，我们构建单一通用模型以提升生产系统质量并降低运行成本。然而，跨区域中心受限的数据流动阻碍了跨语言联合训练。为此，我们提出多任务持续学习框架，借助辅助任务与语言适配器来跨区域学习通用语言表示。实验结果显示了跨语言的正向迁移，同时减轻了跨区域的灾难性遗忘。我们在真实用户流量上的线上结果表明，相较于逐语言模型，点击率与节省字符数显著提升，且训练成本降低 65%。由此，我们已将该功能扩展至包括低资源市场在内的多种语言。
引用
@article{arxiv.2106.02232,
title = {Language Scaling for Universal Suggested Replies Model},
author = {Qianlan Ying and Payal Bajaj and Budhaditya Deb and Yu Yang and Wei Wang and Bojia Lin and Milad Shokouhi and Xia Song and Yang Yang and Daxin Jiang},
journal= {arXiv preprint arXiv:2106.02232},
year = {2021}
}