基于 GRU 注意力机制的图像描述生成深度神经框架
计算与语言
2022-03-04 v1 计算机视觉与模式识别
摘要
图像描述生成是计算机视觉与自然语言处理中快速发展的研究领域，旨在为图像生成文本解释。本研究旨在开发一个系统，利用预训练卷积神经网络（CNN）从图像中提取特征，将特征与注意力机制相融合，并使用循环神经网络（RNN）生成描述。为将图像编码为具有图形属性的特征向量，我们采用了多个预训练卷积神经网络。随后，选择一种称为 GRU 的语言模型作为解码器来构建描述性句子。为提升性能，我们将 Bahdanau 注意力模型与 GRU 相融合，使学习能够聚焦于图像的特定区域。在 MSCOCO 数据集上，实验结果相对于当前最优方法取得了具有竞争力的性能。
关键词
引用
@article{arxiv.2203.01594,
title = {A Deep Neural Framework for Image Caption Generation Using GRU-Based Attention Mechanism},
author = {Rashid Khan and M Shujah Islam and Khadija Kanwal and Mansoor Iqbal and Md. Imran Hossain and Zhongfu Ye},
journal= {arXiv preprint arXiv:2203.01594},
year = {2022}
}
备注
16 PAGES, 8 figures, 1 TABLE