基于层次注意力机制与策略梯度优化的图像描述生成
计算机视觉与模式识别
2019-01-14 v2
摘要
自动生成图像的描述（即图像描述生成）是人工智能中一个重要且基础的主题，它弥合了计算机视觉与自然语言处理之间的鸿沟。基于成功的深度学习模型，尤其是CNN模型与带注意力机制的长短期记忆（LSTMs），我们提出一种层次注意力模型，利用全局CNN特征与局部物体特征，以在图像描述生成中实现更有效的特征表示与推理。生成对抗网络（GAN）与强化学习（RL）算法相结合，用于解决基于RNN的监督语言训练中的曝光偏差问题。此外，通过GAN框架中的判别器对生成描述与图像内容一致性进行自动度量并经RL优化，我们使最终生成的句子更为准确自然。综合实验显示了层次注意力机制的性能提升以及我们基于RL的优化方法的有效性。我们的模型在MSCOCO数据集的若干重要指标上以仅用贪心推断取得了最先进（SOTA）结果。
引用
@article{arxiv.1811.05253,
title = {Image Captioning Based on a Hierarchical Attention Mechanism and Policy Gradient Optimization},
author = {Shiyang Yan and Yuan Xie and Fangyu Wu and Jeremy S. Smith and Wenjin Lu and Bailing Zhang},
journal= {arXiv preprint arXiv:1811.05253},
year = {2019}
}