只发送所需：在联邦多语言机器翻译中学习高效通信
计算与语言
2025-04-21 v2 人工智能
摘要
联邦学习（FL）是一种有前景的分布式机器学习范式，允许多个客户端协作训练一个全局模型。在本文中，我们关注一个实际的联邦多语言学习设置，其中拥有各自语言特定数据的客户端旨在协作构建一个高质量的神经机器翻译（NMT）模型。然而，实际网络系统中的通信约束为在FL各方之间交换大规模NMT引擎带来了挑战。我们提出了一种基于元学习的自适应参数选择方法MetaSend，该方法在基于FL的多语言NMT训练期间提高了客户端模型传输的通信效率。我们的方法基于客户端在不同FL轮次间的张量偏差，学习一个动态阈值，用于在传输前过滤参数，同时不损害NMT模型质量。通过在两个具有不同语言分布的NMT数据集上的实验，我们证明MetaSend在有限通信预算下，相比基线方法在翻译质量上取得了显著提升。
引用
@article{arxiv.2401.07456,
title = {Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation},
author = {Yun-Wei Chu and Dong-Jun Han and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2401.07456},
year = {2025}
}