利用属性增强图像描述
计算机视觉与模式识别
2016-11-08 v1
摘要
用自然语言自动描述图像一直是计算机视觉和自然语言处理领域新兴的挑战。在本文中，我们提出了带属性的长短期记忆网络 (LSTM-A)——一种新颖的架构，它通过端到端训练，将属性整合到成功的卷积神经网络 (CNNs) 加循环神经网络 (RNNs) 图像描述框架中。为了融入属性，我们构建了多种架构变体，通过不同方式将图像表示和属性输入到 RNN 中，以探索它们之间相互关联但又模糊的关系。我们在 COCO 图像描述数据集上进行了大量实验，与最先进的深度模型相比，我们的框架取得了优越的结果。最值得注意的是，当使用 GoogleNet 提取图像表示时，我们在 (Karpathy & Fei-Fei, 2015) 中广泛使用且公开可用的划分测试数据上获得了 25.2%/98.6% 的 METEOR/CIDEr-D 分数，并在 COCO 描述排行榜上取得了迄今为止的第一名性能。
引用
@article{arxiv.1611.01646,
title = {Boosting Image Captioning with Attributes},
author = {Ting Yao and Yingwei Pan and Yehao Li and Zhaofan Qiu and Tao Mei},
journal= {arXiv preprint arXiv:1611.01646},
year = {2016}
}