何时结束?神经文本生成的最优束搜索(模束宽)
计算与语言
2018-09-05 v1
摘要
在神经机器翻译、摘要生成和图像描述等神经文本生成任务中,束搜索被广泛用于提升输出文本质量。然而,在神经生成设定下,假设可在不同步数完成,这使得难以决定何时结束束搜索以保证最优性。我们提出一种可证明最优的束搜索算法,其总能返回最优得分的完整假设(模束宽),并在最优性确立时立即结束(不晚于基线)。为应对神经生成偏向较短假设的倾向,我们还引入了有界长度奖励机制,使得我们束搜索算法的改进版本仍保持最优。在神经机器翻译上的实验表明,我们这一原则性束搜索算法相较先前提出的替代方案在 BLEU 分数上有所提升。
引用
@article{arxiv.1809.00069,
title = {When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)},
author = {Liang Huang and Kai Zhao and Mingbo Ma},
journal= {arXiv preprint arXiv:1809.00069},
year = {2018}
}
备注
accepted by EMNLP 2017