一种用于单阶段指代表达理解实时全局推理网络
计算机视觉与模式识别
2019-12-10 v1
摘要
指代表达理解(REC)是计算机视觉中一个新兴的研究热点，其旨在给定文本描述的情况下检测图像中的目标区域。大多数现有REC方法遵循多阶段流水线，计算开销大并极大限制了REC的应用。在本文中，我们提出一种面向实时REC的单阶段模型，称为实时全局推理网络(RealGIN)。RealGIN通过两项创新设计解决REC中的多样性与复杂性问题：自适应特征选择(AFS)与全局注意力推理单元(GARAN)。AFS自适应融合不同语义层级的特征以应对表达内容的变化。GARAN以文本特征为枢轴从所有区域收集与表达相关的视觉信息，然后选择性地将此类信息扩散回所有区域，为建模表达中复杂语言条件提供了充足上下文。在五个基准数据集即RefCOCO、RefCOCO+、RefCOCOg、ReferIt和Flickr30k上，所提RealGIN优于大多数先前工作，并取得了与最先进方法MAttNet极具竞争力的性能。最重要的是，在相同硬件下，RealGIN可将处理速度较现有方法提升约10倍。
引用
@article{arxiv.1912.03478,
title = {A Real-time Global Inference Network for One-stage Referring Expression Comprehension},
author = {Yiyi Zhou and Rongrong Ji and Gen Luo and Xiaoshuai Sun and Jinsong Su and Xinghao Ding and Chia-wen Lin and Qi Tian},
journal= {arXiv preprint arXiv:1912.03478},
year = {2019}
}