通过多提示改进最小贝叶斯风险解码
计算与语言
2024-10-07 v2
摘要
虽然经过指令微调的大语言模型（LLM）作为文本生成器效果良好，但对提示构建敏感，在实际应用中表现不稳定且次优。仅依赖单一的“最佳”提示无法捕捉到对生成问题不同方法的覆盖。基于这一观察，我们提出了多提示解码（multi-prompt decoding）方法，即在推理阶段从提示库中生成多个候选答案，再通过最小贝叶斯风险（Minimum Bayes Risk, MBR）解码进行ensemble。我们表明，多提示方法在全面的条件生成任务上均优于单一提示的 MBR 解码，这源于其估计的候选空间更具多样性和更高质量。进一步实验表明，多提示方法在不同任务、模型和指标下均能提升生成效果。
引用
@article{arxiv.2407.15343,
title = {Improving Minimum Bayes Risk Decoding with Multi-Prompt},
author = {David Heineman and Yao Dou and Wei Xu},
journal= {arXiv preprint arXiv:2407.15343},
year = {2024}
}
备注
Accepted to EMNLP 2024