中文

疑似目标物至关重要:重新审视单阶段视觉定位模型的预测

计算机视觉与模式识别 2023-08-22 v2 人工智能

摘要

近年来,单阶段视觉定位器因其在精度上与两阶段定位器相当而效率显著更高而备受关注。然而,单阶段定位器中的对象间关系建模尚未得到充分研究。对象间关系建模虽然重要,但未必需要在所有对象间进行,因为其中只有部分与文本查询相关并可能混淆模型。我们称这些对象为疑似对象。然而,在单阶段范式下探索它们的关系并非易事,因为:首先,没有可用的对象候选框作为选择疑似对象并进行关系建模的基础;其次,疑似对象比其他对象更具混淆性,因为它们可能共享相似语义、与某些关系纠缠等,从而更容易误导模型预测。为此,我们提出一种疑似对象变换机制(SOT),它可无缝集成到现有的基于 CNN 和 Transformer 的单阶段视觉定位器中,以鼓励在疑似对象中筛选目标对象。疑似对象是从训练过程中适应模型当前判别能力的学习激活图中动态发现的。随后,在疑似对象基础上,同时提出关键词感知判别模块(KAD)和随机连接探索策略(ERC)以帮助模型重新审视其初始预测。一方面,KAD 利用对疑似对象判别贡献高的关键词;另一方面,ERC 允许模型寻找正确对象,而非陷入总是利用当前错误预测的困境。大量实验证明了我们所提方法的有效性。

关键词

引用

@article{arxiv.2203.05186,
  title  = {Suspected Object Matters: Rethinking Model's Prediction for One-stage Visual Grounding},
  author = {Yang Jiao and Zequn Jie and Jingjing Chen and Lin Ma and Yu-Gang Jiang},
  journal= {arXiv preprint arXiv:2203.05186},
  year   = {2023}
}

备注

Accepted to ACM MM 23