从个性化联邦学习视角看低资源机器翻译
计算与语言
2024-12-23 v2 机器学习
摘要
我们提出了一种名为 MeritOpt 的新方法，它基于个性化联邦学习算法 MeritFed，可应用于具有异构数据的自然语言任务。我们在低资源机器翻译任务上对其进行了评估，使用了东南亚语言和芬兰-乌戈尔语系语言的数据集。除了有效性之外，MeritOpt 还具有高度可解释性，因为它可用于追踪每种用于训练的语言的影响。我们的分析表明，目标数据集大小会影响跨辅助语言的权重分布，不相关的语言不会干扰训练，并且辅助优化器参数的影响极小。我们的方法易于应用，只需几行代码，我们提供了用于复现实验的脚本，网址为 https://github.com/VityaVitalich/MeritOpt。
引用
@article{arxiv.2406.12564,
title = {Low-Resource Machine Translation through the Lens of Personalized Federated Learning},
author = {Viktor Moskvoretskii and Nazarii Tupitsa and Chris Biemann and Samuel Horváth and Eduard Gorbunov and Irina Nikishina},
journal= {arXiv preprint arXiv:2406.12564},
year = {2024}
}
备注
EMNLP 2024