关注未来词元以实现双向序列生成
机器学习
2019-09-18 v2 计算与语言
机器学习
摘要
神经序列生成通常以逐词元、从左至右的方式进行。每当生成一个词元时，仅考虑先前产生的词元。相比之下，对于序列分类等问题，双向注意力同时考虑过去与未来词元，已被证明性能更优。我们提出通过使用特殊占位符词元使序列生成过程双向化。占位符词元被视为全连接图中的节点，在生成实际输出词元时可同时考虑过去与未来词元。我们在两个对话任务上通过实验验证了方法的有效性，所提出的双向模型大幅优于具有竞争力的基线。
引用
@article{arxiv.1908.05915,
title = {Attending to Future Tokens For Bidirectional Sequence Generation},
author = {Carolin Lawrence and Bhushan Kotnis and Mathias Niepert},
journal= {arXiv preprint arXiv:1908.05915},
year = {2019}
}
备注
Conference on Empirical Methods in Natural Language Processing (EMNLP), 2019, Hong Kong, China