后编辑即是偏好
计算与语言
2025-02-24 v3 人工智能
机器学习
摘要
偏好优化 (PO)技术是当前针对人工标注的两两偏好反馈微调大型语言模型 (LLM) 的前沿技术之一。然而，在机器翻译中，这种反馈难以获取。此外，Kreutzer等人 (2018) 表明，对于机器翻译，两两偏好比其他形式的人类反馈（如5分制评分）可靠性更低。我们检查后编辑是否可以作为可靠人类偏好的来源。PO中，人工标注员会显示序列s1和s2，并要求给出偏好判断s1 > s2；而在后编辑中，编辑器创建s1并知道它应优于s2。我们尝试使用这些隐式偏好用于PO，结果表明该方法有助于模型接近后编辑风格的假设，远离机器翻译风格的假设。此外，我们展示最佳结果可通过在后编辑上进行监督微调 (SFT)来实现，以将后编辑风格的假设提升到输出排名前列。
引用
@article{arxiv.2410.02320,
title = {Post-edits Are Preferences Too},
author = {Nathaniel Berger and Miriam Exel and Matthias Huck and Stefan Riezler},
journal= {arXiv preprint arXiv:2410.02320},
year = {2025}
}
备注
To appear at the Ninth Conference on Machine Translation (WMT24)