偏好对齐是否总是增强 LLM-基于翻译的最佳选择？经验分析
计算与语言
2025-11-21 v1
摘要
机器翻译 (MT) 的神经指标因其与人类判断的相关性优于传统词汇指标而日益突出。因此，研究人员利用神经指标通过质量信息解码策略，实现了比基于似然的方法更好的结果。随着大语言模型 (LLM) 的兴起，基于偏好的对齐技术因其潜在的增强翻译质量的能力而受到关注。本研究聚焦于对比式偏好优化 (CPO)，并进行大量实验以评估基于偏好的对齐对翻译质量的影响。我们的发现表明，尽管 CPO 在关于对齐指标的高质量数据上 consistently outperform Supervised Fine-Tuning (SFT)，但可能导致下游评估指标之间的不稳定性，特别是神经指标和词汇指标之间。此外，我们演示了仅依赖基本模型生成候选翻译即可实现与使用多个外部系统相当的性能，同时在下游指标上确保更好的一致性。
引用
@article{arxiv.2409.20059,
title = {Is Preference Alignment Always the Best Option to Enhance LLM-Based Translation? An Empirical Analysis},
author = {Hippolyte Gisserot-Boukhlef and Ricardo Rei and Emmanuel Malherbe and Céline Hudelot and Pierre Colombo and Nuno M. Guerreiro},
journal= {arXiv preprint arXiv:2409.20059},
year = {2025}
}