面向未见物体的图像描述生成
计算机视觉与模式识别
2019-08-02 v1
摘要
图像描述生成是计算机视觉与自然语言处理交叉领域中一个长期且具挑战性的问题。许多近期提出的方法在描述生成方法中利用全监督物体识别模型。然而,此类模型往往只生成由识别模型预测出的物体所组成的句子,排除了那些没有标注训练样本的类别实例。本文中,我们提出一个新的挑战性场景,以全零样本学习设置下的图像描述问题为目标,其目标是能够生成包含训练期间未见过物体的测试图像的描述。所提方法联合使用一种新颖的零样本物体检测模型与基于模板的句子生成器。我们的实验在 COCO 数据集上展示了有前景的结果。
引用
@article{arxiv.1908.00047,
title = {Image Captioning with Unseen Objects},
author = {Berkan Demirel and Ramazan Gokberk Cinbis and Nazli Ikizler-Cinbis},
journal= {arXiv preprint arXiv:1908.00047},
year = {2019}
}
备注
To appear in British Machine Vision Conference (BMVC) 2019