期望 BLEU 分数的可微下界
计算与语言
2018-08-24 v4 机器学习
摘要
在自然语言处理任务中，模型性能常通过某些不可微度量（如 BLEU 分数）来衡量。为使用高效的基于梯度的方法进行优化，优化某个替代损失函数是一种常见变通方案。若此类损失的优化也能带来目标度量的提升，则该方法是有效的。相应问题被称为损失-评价失配。在本工作中，我们提出一种计算期望 BLEU 分数可微下界的方法，其不涉及计算昂贵的采样过程，例如强化学习（RL）框架中使用 REINFORCE 规则所需的采样。
引用
@article{arxiv.1712.04708,
title = {Differentiable lower bound for expected BLEU score},
author = {Vlad Zhukov and Eugene Golikov and Maksim Kretov},
journal= {arXiv preprint arXiv:1712.04708},
year = {2018}
}
备注
Presented at NIPS 2017 Workshop on Conversational AI: Today's Practice and Tomorrow's Potential