通过递归子查询构建改进单阶段视觉定位
计算机视觉与模式识别
2020-08-04 v1
摘要
我们通过解决当前在定位长而复杂查询上的局限来改进单阶段视觉定位。现有单阶段方法将整个语言查询编码为单一句子嵌入向量，例如取BERT的嵌入或LSTM的隐藏状态。该单一向量表示容易忽略查询中的细节描述。为解决此查询建模缺陷，我们提出一种递归子查询构建框架，其在图像与查询间进行多轮推理并逐步减少指代歧义。我们展示了我们的新单阶段方法在ReferItGame、RefCOCO、RefCOCO+和RefCOCOg上分别比最先进单阶段基线获得5.0%、4.5%、7.5%、12.8%的绝对提升。特别地，在更长更复杂查询上的优越性能验证了我们的查询建模的有效性。
引用
@article{arxiv.2008.01059,
title = {Improving One-stage Visual Grounding by Recursive Sub-query Construction},
author = {Zhengyuan Yang and Tianlang Chen and Liwei Wang and Jiebo Luo},
journal= {arXiv preprint arXiv:2008.01059},
year = {2020}
}
备注
ECCV 2020