测试人类与机器翻译中的去词汇化假设
计算与语言
2026-05-26 v1
摘要
从专用神经机器翻译系统向通用大型语言模型 (LLM) 的转变正在重塑机器翻译领域，据称 LLM 产生的译文比其前身更流畅且更不直译。我们测试这一转变是否也适用于去词汇化假设，即翻译研究中的一长期假设——即随着翻译草稿的不断修改，译文会变得越来越不直译。我们采用 WMT24++ 数据集，将人类译文及其修订稿与两种神经机器翻译系统和六个大型语言模型进行比较，涵盖 54 种语言对和三种任务：直接翻译、迭代自我修订和对人类草稿的后编辑。通过构建基于六个启发方法的经验证合的合成词汇化指数来衡量译文的直译程度。我们发现：(i) 人类译文在直译性上显著低于所有测试中的机器翻译系统，尽管最新的 LLM 缩小了这一差距；(ii) 当被要求对自身输出进行迭代修订时，LLM 呈单调性地进行去词汇化，首次提供了去词汇化假设原生适用于 LLM 生成的证据；(iii) 作为后编辑者，LLM 颠倒了人类后编辑者的修订触发因素，能够容忍直译草稿，并针对符合人类惯用表达的译文进行修订。
引用
@article{arxiv.2605.25686,
title = {Testing the Deliteralization Hypothesis in Human and Machine Translation},
author = {Malik Marmonier and Rachel Bawden and Benoît Sagot},
journal= {arXiv preprint arXiv:2605.25686},
year = {2026}
}