机器翻译提示中‘完美’英文的重要性如何？
计算与语言
2025-09-03 v2
摘要
大型语言模型（LLMs）在最近的机器翻译评估中取得了顶尖成绩，但也已知会对其提示中的错误和扰动敏感。我们系统评估了人类可信和合成错误对LLMs在两个相关任务：机器翻译和机器翻译评估中性能的影响。我们提供了定量分析和定性见解，阐述模型如何应对用户提示中噪声的增加。提示质量对翻译性能影响深远：即使在出现许多错误的情况下，一个好的提示也可能低于没有错误的最小或差励提示。然而，不同的噪声类型对翻译质量的影响不同，字符级和组合噪声削弱性能更多，而短语扰动则较少。定性分析表明，较低的提示质量主要导致更差的指令遵循，而非直接影响翻译质量本身。此外，LLMs仍能在大量随机噪声的场景中进行翻译，这种噪声会使人类无法理解提示。
引用
@article{arxiv.2507.09509,
title = {How Important is `Perfect' English for Machine Translation Prompts?},
author = {Patrícia Schmidtová and Niyati Bafna and Seth Aycock and Gianluca Vico and Wiktor Kamzela and Katharina Hämmerl and Vilém Zouhar},
journal= {arXiv preprint arXiv:2507.09509},
year = {2025}
}