通过基于幻觉聚好的偏好优化来缓解大语言模型中的翻译幻觉
计算与语言
2025-01-30 v1 人工智能
机器学习
摘要
机器翻译正在经历范式转变，基于微调的大语言模型（LLM）的系统正变得越来越具竞争力，与传统的 encoder-decoder 模型相比后者是为特定的翻译任务训练的。然而，LLM-based 系统更容易生成幻觉，这会严重削弱用户的信任和安全感。大多数关于幻觉缓解的先前研究集中在传统 MT 模型上，解决方案涉及后处理——检测幻觉翻译并重新翻译。虽然这种方法有效，但它会在生产环境中引入额外的复杂性，也会增加延迟。为克服这些限制，我们提出了一种在模型训练阶段本质上学习缓解幻觉的方法。具体而言，我们引入一个数据创建框架，用于生成面向幻觉的偏好数据集。对这些偏好数据集进行微调的 LLM 可将幻觉率降低平均达 96%，同时保持整体翻译质量。在零样本设置下，我们的方法在三个看不见的目标语言上的幻觉率平均降低 89%。
引用
@article{arxiv.2501.17295,
title = {Mitigating Hallucinated Translations in Large Language Models with Hallucination-focused Preference Optimization},
author = {Zilu Tang and Rajen Chatterjee and Sarthak Garg},
journal= {arXiv preprint arXiv:2501.17295},
year = {2025}
}
备注
NAACL 2025 Main Conference Long paper (9 pages)