通过解耦信息瓶颈消除多语言 LLM 评估中的翻译ese 偏差
计算与语言
2026-03-12 v1 人工智能
摘要
大型语言模型 (LLM) 已成为多语言评估的标准，但它们表现出严重的系统性翻译ese 偏差。在本文中，将翻译ese 偏差定义为 LLM 系统性地偏好机器翻译文本而非人类作者编写的参考文本，尤其是在低资源语言方面。我们将这种偏差归因于 (i) 与英语的隐式流形对齐以及 (ii) 跨语言可预测性之间的伪相关。为消除此偏差，我们提出了 DIBJudge，一种鲁棒的微调框架，通过变体信息压缩学习最小充分、判定关键的表示，同时显式地将无关因素隔离到专门的偏差分支中。此外，我们采用交叉协方差惩罚，显式抑制鲁棒表示与偏差表示之间的统计依赖，从而鼓励有效的解耦。在多语言奖赏建模基准测试和专门的翻译ese 偏差评估套件上的广泛评估表明，所提出的 DIBJudge 在所有强基准上均优于，且显著消除了翻译ese 偏差。
引用
@article{arxiv.2603.10351,
title = {Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck},
author = {Hongbin Zhang and Kehai Chen and Xuefen Bai and Youcheng Pan and Yang Xiang and Jinpeng Wang and Min Zhang},
journal= {arXiv preprint arXiv:2603.10351},
year = {2026}
}
备注
Under Review