中文

何时结束?神经文本生成的最优束搜索(模束宽)

计算与语言 2018-09-05 v1

摘要

在神经机器翻译、摘要生成和图像描述等神经文本生成任务中,束搜索被广泛用于提升输出文本质量。然而,在神经生成设定下,假设可在不同步数完成,这使得难以决定何时结束束搜索以保证最优性。我们提出一种可证明最优的束搜索算法,其总能返回最优得分的完整假设(模束宽),并在最优性确立时立即结束(不晚于基线)。为应对神经生成偏向较短假设的倾向,我们还引入了有界长度奖励机制,使得我们束搜索算法的改进版本仍保持最优。在神经机器翻译上的实验表明,我们这一原则性束搜索算法相较先前提出的替代方案在 BLEU 分数上有所提升。

关键词

引用

@article{arxiv.1809.00069,
  title  = {When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)},
  author = {Liang Huang and Kai Zhao and Mingbo Ma},
  journal= {arXiv preprint arXiv:1809.00069},
  year   = {2018}
}

备注

accepted by EMNLP 2017