LLM-based 多语言机器翻译中的后训练中的不对称冲突与协同
计算与语言
2025-02-18 v1
摘要
大语言模型（LLMs）的出现推动了多语言机器翻译（MMT），但“多语言诅咒”（CoM）仍是主要挑战。现有工作通过扩大训练规模和计算预算来缓解这一问题，这引发了一个关键问题：扩大训练和计算预算是否真的必要才能实现高质量MMT，或者可以通过更深入地理解CoM来提供更高效的解决方案？为探索此问题，本文分析了CoM在后训练阶段中的语言冲突与协同机制。我们识别出语言冲突与协同存在不对称现象：冲突与协同的主导程度在不同翻译方向上存在差异，导致现有后训练方法适应不足。我们进一步发现，MMT的主要瓶颈可能出现在后训练阶段而非多语言预训练中，这表明需要更有效的适应策略。基于这些新发现，我们提出了一种方向感知训练方法，结合基于组的模型合并，以明确解决语言冲突与协同中的不对称性。通过该策略，我们的方法仅使用多语言预训练微调 X-ALMA-13B-Pretrain 训练模型，便可实现与 XALMA-13B（仅进行SFT）相当的性能——仅使用 200 亿预训练标记和 170 亿参数——预训练标记减少 5.5 倍，模型规模缩减 1.7 倍，仅在 50 种语言的 Flores-200 测试集上实现 0.85 的 COMET 下降。
引用
@article{arxiv.2502.11223,
title = {Asymmetric Conflict and Synergy in Post-training for LLM-based Multilingual Machine Translation},
author = {Tong Zheng and Yan Wen and Huiwen Bao and Junfeng Guo and Heng Huang},
journal= {arXiv preprint arXiv:2502.11223},
year = {2025}
}
备注
22 pages