神经序列预测中的生成桥接网络(GBN)
人工智能
2018-12-03 v6 机器学习
机器学习
摘要
为了缓解序列预测任务中最大似然估计(MLE)的数据稀疏与过拟合问题，我们提出了生成桥接网络(Generative Bridging Network, GBN)，其中引入了一种新颖的桥接模块来辅助序列预测模型(生成器网络)的训练。与直接最大化条件似然的MLE不同，该桥将逐点真实标签扩展为以其为条件的桥接分布，并对生成器进行优化以最小化二者之间的KL散度。我们提出了三种不同的GBN，即均匀GBN、语言模型GBN和辅导GBN，分别用于惩罚置信度、增强语言平滑性以及减轻学习负担。在两个公认的序列预测任务(机器翻译与生成式文本摘要)上开展的实验表明，我们提出的GBN相较强基线能取得显著改进。此外，通过分析从不同桥中抽取的样本，验证了其对生成器的预期影响。
引用
@article{arxiv.1706.09152,
title = {Generative Bridging Network in Neural Sequence Prediction},
author = {Wenhu Chen and Guanlin Li and Shuo Ren and Shujie Liu and Zhirui Zhang and Mu Li and Ming Zhou},
journal= {arXiv preprint arXiv:1706.09152},
year = {2018}
}
备注
Accepted to NAACL 2018