基于概念的句子重排序改进图像描述生成
计算机视觉与模式识别
2016-05-04 v1 计算与语言
摘要
本文描述了我们在ImageCLEF 2015图像句子生成任务中的获奖方案。我们通过引入基于概念的句子重排序（一种利用Flickr上大量概念级标注的数据驱动方法）改进了Google的CNN-LSTM模型。与以往为特定图像描述模型量身定制的概念检测用法不同，所提方法根据预测句子与检测到的概念的匹配程度对句子重排序，本质上将底层模型视为黑盒。这一特性使该方法适用于多种现有方案。我们还尝试对深度语言模型进行微调，进一步提升了性能。在ImageCLEF 2015测试集上取得METEOR分数0.1875，我们的系统以明显优势超越亚军（METEOR 0.1687）。
引用
@article{arxiv.1605.00855,
title = {Improving Image Captioning by Concept-based Sentence Reranking},
author = {Xirong Li and Qin Jin},
journal= {arXiv preprint arXiv:1605.00855},
year = {2016}
}