层层皆 MBR：透过最小贝叶斯风险视角看现代生成技术
计算与语言
2023-10-03 v1
摘要
最小贝叶斯风险（Minimum Bayes Risk, MBR）解码是一种选择机器学习系统输出的方法，其依据不是概率最高的输出，而是多个候选中风险（期望误差）最低的输出。这是一种简单但强大的方法：在推理时付出额外代价，MBR 无需任何额外数据或训练，即可在多种任务上提供可靠的多个点的指标提升。尽管如此，MBR 在自然语言处理（NLP）工作中并未被频繁应用，且对该方法本身的认知也有限。我们首先介绍该方法及近期文献。我们表明，若干未提及 MBR 的近期方法可写为 MBR 的特例；这一重构为这些方法的性能提供了额外的理论依据，解释了先前仅为经验性的某些结果。我们给出了关于各种 MBR 变体有效性的理论与实证结果，并对 MBR 在 NLP 模型中的应用提出具体建议，包括该领域的未来方向。
引用
@article{arxiv.2310.01387,
title = {It's MBR All the Way Down: Modern Generation Techniques Through the Lens of Minimum Bayes Risk},
author = {Amanda Bertsch and Alex Xie and Graham Neubig and Matthew R. Gormley},
journal= {arXiv preprint arXiv:2310.01387},
year = {2023}
}
备注
Under submission