基于插入的解码与自动推断的生成顺序
计算与语言
2019-10-29 v3 机器学习
摘要
传统的神经自回归解码通常假设固定的从左至右生成顺序，这可能并非最优。在本工作中，我们提出了一种新颖的解码算法——InDIGO——它通过插入操作支持以任意顺序进行灵活的序列生成。我们扩展了最先进的序列生成模型 Transformer，以高效实现所提方法，使其既可以使用预定义的生成顺序训练，也可以使用通过束搜索获得的自适应顺序训练。在包括词序恢复、机器翻译、图像描述和代码生成在内的四个真实世界任务上的实验表明，我们的算法可以遵循任意顺序生成序列，同时取得与传统从左至右生成相比具有竞争力甚至更好的性能。生成的序列表明，InDIGO 基于输入信息采用自适应生成顺序。
引用
@article{arxiv.1902.01370,
title = {Insertion-based Decoding with automatically Inferred Generation Order},
author = {Jiatao Gu and Qi Liu and Kyunghyun Cho},
journal= {arXiv preprint arXiv:1902.01370},
year = {2019}
}
备注
Camera ready. Accepted by TACL