一种稳定有效的可训练贪婪解码学习策略
计算与语言
2018-08-29 v2
摘要
束搜索(beam search)是神经网络解码器中广泛使用的近似搜索策略,在机器翻译等任务上通常优于简单的贪婪解码。然而,这种改进伴随着巨大的计算代价。本文提出一种灵活的新方法,使我们以几乎零额外计算代价获得束搜索近乎全部的好处。该方法围绕一个小型神经网络执行器(actor),其被训练来观察并操纵已训练解码器的隐藏状态。为训练该执行器网络,我们引入使用基模型上束搜索输出构建的伪平行语料库,并按BLEU等目标质量度量排序。我们的方法受此前该问题研究的启发,但无需强化学习,且可在一系列模型上可靠训练。在三个平行语料库和三种架构上的实验表明,该方法相较各基系统在翻译质量和速度上均带来显著提升。
引用
@article{arxiv.1804.07915,
title = {A Stable and Effective Learning Strategy for Trainable Greedy Decoding},
author = {Yun Chen and Victor O. K. Li and Kyunghyun Cho and Samuel R. Bowman},
journal= {arXiv preprint arXiv:1804.07915},
year = {2018}
}
备注
Accepted by EMNLP 2018