翻译障碍假设：大型语言模型的多语言生成存在隐式翻译失败
计算与语言
2025-10-22 v2
摘要
大型语言模型(LLMs)的多语言生成通常对中低资源语言质量较差, 但其原因尚不明了。我们首先演示了生成过程中存在的隐式任务求解-->翻译管道:模型首先以 largely target-language-agnostic 的方式解决所需任务, 随后将答案概念翻译到预期的目标语言。我们假设翻译阶段的失败（尽管任务求解成功）是导致最终输出质量低下的重要原因, 并将此形式化为翻译障碍假设。我们量化了管道中各阶段对最终失败责任的贡献, 针对 108 个语言对中的单词翻译任务, 发现翻译障碍解释了大多数语言对错误的主导部分, 尤其对低资源目标语言尤为严重。我们的结果凸显了端到端多语言生成中的重要瓶颈, 这对于寻求改进 LLMs 多语言性的未来工作具有重要意义。
引用
@article{arxiv.2506.22724,
title = {The Translation Barrier Hypothesis: Multilingual Generation with Large Language Models Suffers from Implicit Translation Failure},
author = {Niyati Bafna and Tianjian Li and Kenton Murray and David R. Mortensen and David Yarowsky and Hale Sirin and Daniel Khashabi},
journal= {arXiv preprint arXiv:2506.22724},
year = {2025}
}
备注
28 pages, incl. appendix