一种无需超参数的快速最小贝叶斯风险解码方法
人工智能
2024-06-13 v2 计算与语言
摘要
最小贝叶斯风险 (MBR) 解码被证明是广泛文本生成任务中束搜索解码的有力替代方案。然而，MBR 需要大量时间进行推理以计算 MBR 目标函数，这使得该方法在许多响应时间至关重要的场景中不可行。基于置信度的剪枝 (CBP) (Cheng and Vlachos, 2023) 最近被提出用于减少机器翻译任务中的推理时间。尽管它被证明能显著减少计算量，但其有效性需要使用开发集进行超参数调整。为此，我们提出了近似最小贝叶斯风险 (AMBR) 解码，这是一种无需超参数的近似运行 MBR 解码的方法。AMBR 源于这样一个观察：基于样本的 MBR 目标函数的计算问题是中位点识别问题。AMBR 使用相关顺序减半 (CSH) 算法 (Baharav and Tse, 2019)，这是迄今为止解决中位点识别问题的最佳近似算法，来计算基于样本的 MBR 目标函数。我们在机器翻译、文本摘要和图像描述任务上评估了 AMBR。结果表明，AMBR 的表现与通过 Oracle 为每个给定计算预算选择超参数的 CBP 相当。
引用
@article{arxiv.2401.02749,
title = {Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding},
author = {Yuu Jinnai and Kaito Ariu},
journal= {arXiv preprint arXiv:2401.02749},
year = {2024}
}