MBR 与 QE 微调：在训练时蒸馏最优且最昂贵的解码方法
计算与语言
2024-03-27 v6
摘要
近期关于自然语言生成（NLG）任务解码方法的研究表明，MAP 解码并非最优，因为模型概率并非总与人类偏好一致。此后提出了更强的解码方法，包括质量估计（QE）重排序和最小贝叶斯风险（MBR）解码，以缓解模型困惑度与质量的不匹配。尽管这些解码方法取得了 SOTA 性能，但其计算代价高得令人却步。在本工作中，我们提出 MBR 微调和 QE 微调，它们在训练时蒸馏这些解码方法的质量增益，同时在推理时使用高效的解码算法。以典型的 NLG 任务神经机器翻译（NMT）为例，我们表明即使使用自训练，这些微调方法也显著优于基础模型。此外，当使用外部 LLM 作为教师模型时，这些微调方法优于基于人工生成参考的微调。这些发现提出了利用单语数据提升模型质量的新途径，其提升幅度可与人工标注数据相媲美甚至超越，同时在解码时保持最高效率。
引用
@article{arxiv.2309.10966,
title = {MBR and QE Finetuning: Training-time Distillation of the Best and Most Expensive Decoding Methods},
author = {Mara Finkelstein and Subhajit Naskar and Mehdi Mirzazadeh and Apurva Shah and Markus Freitag},
journal= {arXiv preprint arXiv:2309.10966},
year = {2024}
}