通过用当前状态重建过去状态来正则化 RNN 以生成描述
计算机视觉与模式识别
2018-04-10 v2 人工智能
摘要
近年来，基于编码器-解码器框架的描述生成在图像描述、代码描述等不同领域得到了广泛的研究与应用。在本文中，我们提出了一种新颖的架构，即自动重建网络（ARNet），它与传统的编码器-解码器框架相结合，以端到端的方式生成描述。除了作为依赖于输入的转换算子外，ARNet 旨在用当前的隐藏状态重建前一个隐藏状态。因此，ARNet 鼓励当前隐藏状态嵌入更多来自前一个隐藏状态的信息，这有助于正则化循环神经网络（RNN）的转换动态。大量实验结果表明，我们提出的 ARNet 在图像描述和源代码描述任务上均提升了现有编码器-解码器模型的性能。此外，ARNet 显著减小了描述生成在训练和推理过程之间的差异。进一步地，在排列序列 MNIST 上的性能表明，ARNet 能够有效正则化 RNN，尤其是在建模长期依赖关系方面。我们的代码可在以下地址获取：https://github.com/chenxinpeng/ARNet
引用
@article{arxiv.1803.11439,
title = {Regularizing RNNs for Caption Generation by Reconstructing The Past with The Present},
author = {Xinpeng Chen and Lin Ma and Wenhao Jiang and Jian Yao and Wei Liu},
journal= {arXiv preprint arXiv:1803.11439},
year = {2018}
}
备注
Accepted by CVPR 2018