学习引导图像描述生成的解码过程
计算机视觉与模式识别
2018-04-04 v1
摘要
近年来，图像描述生成取得了显著进展，编码器-解码器框架在该任务上取得了出色的性能。在本文中，我们通过添加一个称为引导网络的组件，提出对编码器-解码器框架的扩展。引导网络对输入图像的属性特征进行建模，其输出被用于在每个时间步组合解码器的输入。引导网络可以插入现有的编码器-解码器框架中，并以端到端的方式进行训练。因此，引导向量可以根据来自解码器的信号自适应地学习，使其自身能够嵌入来自图像和语言的信息。此外，可以采用判别性监督来进一步提高引导质量。我们在 MS COCO 数据集上进行的实验验证了所提方法的优越性。
引用
@article{arxiv.1804.00887,
title = {Learning to Guide Decoding for Image Captioning},
author = {Wenhao Jiang and Lin Ma and Xinpeng Chen and Hanwang Zhang and Wei Liu},
journal= {arXiv preprint arXiv:1804.00887},
year = {2018}
}
备注
AAAI-18