基于深度堆叠 LSTM、上下文词嵌入与数据增强的图像描述生成
计算机视觉与模式识别
2021-02-23 v1 人工智能
机器学习
多媒体
神经与进化计算
摘要
图像描述生成,即自动生成图像描述,是计算机视觉的核心问题之一,并且使用深度学习技术已取得了显著进展。我们提出使用 Inception-ResNet 卷积神经网络作为编码器从图像中提取特征,基于层次上下文的词嵌入用于词表示,以及深度堆叠长短期记忆网络作为解码器,此外还使用图像数据增强以避免过拟合。对于数据增强,我们采用图像的水平和垂直翻转以及透视变换。我们在两个图像描述生成框架——编码器-解码器和软注意力机制上评估了所提方法。在广泛使用指标上的评估表明,我们的方法使模型性能得到显著改善。
引用
@article{arxiv.2102.11237,
title = {Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation},
author = {Sulabh Katiyar and Samir Kumar Borgohain},
journal= {arXiv preprint arXiv:2102.11237},
year = {2021}
}
备注
Accepted for publication in Springer Book Series: Advances in Intelligent Systems and Computing - ISSN 2194-5357. Upon publication, this article will point to the published one