基于适配器的通信高效多语言神经机器翻译联邦学习
计算与语言
2023-05-23 v1 人工智能
摘要
联邦多语言神经机器翻译 (Fed-MNMT) 已成为语言资源有限机构的一种有前景的范式。该方法允许多个机构作为客户端，通过模型同步训练统一模型，而非收集敏感数据进行集中训练。这显著降低了语料收集成本并保护了数据隐私。然而，随着预训练语言模型 (PLMs) 规模持续增长，同步期间传输参数的通信成本已成为训练速度瓶颈。在本文中，我们提出了一种通信高效的 Fed-MNMT 框架，通过冻结 PLMs 并仅在客户端间传输轻量级适配器模块来解决该问题。由于不同语言对的数据分布存在显著差异，客户端的适配器参数可能相互冲突。为此，我们探索了多种聚类策略以分组参数进行整合，并缓解冲突参数的负面影响。实验结果表明，与有竞争力的基线相比，我们的框架将通信成本降低了 98% 以上，同时取得了相似甚至更优的性能。进一步分析揭示，聚类策略有效解决了语言差异问题，且对适配器模块进行剪枝进一步提升了通信效率。
引用
@article{arxiv.2305.12449,
title = {Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter},
author = {Yi Liu and Xiaohan Bi and Lei Li and Sishuo Chen and Wenkai Yang and Xu Sun},
journal= {arXiv preprint arXiv:2305.12449},
year = {2023}
}
备注
Findings of ACL 2023