面向短语定位的查询引导回归网络与上下文策略
计算机视觉与模式识别
2017-08-08 v1
摘要
给定图像的文字描述，短语定位旨在定位描述中查询短语所指代的图像中的物体。现有最优方法通过基于与每个查询的相关性对一组候选区域进行排序来解决该问题，这受限于独立候选区域生成系统的性能，并忽略了描述中有用的上下文线索。本文中，我们采用空间回归方法突破性能限制，并引入强化学习技术以进一步利用语义上下文信息。我们提出一种新颖的查询引导回归网络与上下文策略（QRC Net），它联合学习候选区域生成网络（PGN）、查询引导回归网络（QRN）和上下文策略网络（CPN）。实验表明，QRC Net 在两个流行数据集 Flickr30K Entities 和 Referit Game 上的准确率分别比现有最优方法提升了 14.25% 和 17.14%。
引用
@article{arxiv.1708.01676,
title = {Query-guided Regression Network with Context Policy for Phrase Grounding},
author = {Kan Chen and Rama Kovvuri and Ram Nevatia},
journal= {arXiv preprint arXiv:1708.01676},
year = {2017}
}
备注
Spotlight in ICCV 2017