通过联邦学习训练混合领域翻译模型
计算与语言
2022-05-04 v1
摘要
训练混合领域翻译模型是一项复杂任务，需要定制化的架构和昂贵的数据准备技术。在这项工作中，我们利用联邦学习（FL）来解决该问题。我们的研究表明，通过对不同领域进行融合时应用基于FL的聚合，只需对训练过程稍作修改，神经机器翻译（NMT）引擎便可轻松适配。实验结果还表明，通过FL构建的引擎能够与依赖集中式训练技术的state-of-the-art基线表现相当。我们在五个不同大小、来自不同领域、从德语翻译为英语的数据集上评估了我们的假设，并讨论了FL与NMT如何相互受益。除了提供FL与NMT结合的基准测试结果外，我们还提出了一种新技术，通过在FL更新期间选择有影响力的参数来动态控制通信带宽。考虑到需要在FL各方之间交换的NMT引擎规模庞大，这是一项重要成果。
引用
@article{arxiv.2205.01557,
title = {Training Mixed-Domain Translation Models via Federated Learning},
author = {Peyman Passban and Tanya Roosta and Rahul Gupta and Ankit Chadha and Clement Chung},
journal= {arXiv preprint arXiv:2205.01557},
year = {2022}
}
备注
accepted at NAACL 2022 (main conference)