PIRC Net：利用提议索引、关系与上下文进行短语定位
计算机视觉与模式识别
2018-12-11 v1
摘要
短语定位旨在检测并定位图像中被自然语言短语所指代和查询的对象。短语定位在视觉对话、视觉搜索和图文共指消解等任务中有应用。在本文中，我们提出一个框架，利用短语类别、句子中相邻短语之间的关系以及上下文等信息来提升短语定位系统的性能。我们提出三个模块：提议索引网络（PIN）、短语间回归网络（IRN）和提议排序网络（PRN），它们通过融入上述信息，以递增的细节层级分析图像的区域提议。此外，在缺乏短语真实空间位置（弱监督）的情况下，我们提出了利用 PIN 模块框架的知识迁移机制。我们在 Flickr 30k Entities 和 ReferItGame 数据集上证明了我们方法的有效性，在监督和弱监督两种设定下均取得了优于当前最优（SOTA）方法的提升。
引用
@article{arxiv.1812.03213,
title = {PIRC Net : Using Proposal Indexing, Relationships and Context for Phrase Grounding},
author = {Rama Kovvuri and Ram Nevatia},
journal= {arXiv preprint arXiv:1812.03213},
year = {2018}
}
备注
Accepted in ACCV 2018