用于弱引用表达式定位的判别性三元组匹配与重建
计算机视觉与模式识别
2021-06-09 v1 多媒体
摘要
本文中,我们致力于弱监督引用表达式定位任务,即根据查询句子在图像中定位所指物体,其中在训练阶段图像区域与查询之间的映射不可用。在传统方法中,挑选出与引用表达式最匹配的物体区域,然后从所选区域重建查询句子,其中重建差异作为反向传播的损失。然而,现有方法近似地进行匹配和重建,因为它们忽略了匹配正确性未知这一事实。为克服该局限,此处设计了一个判别性三元组作为解决方案的基础,通过它可以以高度可扩展的方式将查询转换为一个或多个判别性三元组。基于判别性三元组,我们进一步提出了三元组级匹配与重建模块,这些模块轻量且对弱监督训练有效,使其比先前最先进方法轻量和快速三倍。我们工作的一个重要优点是其简洁设计下仍具有优越性能。具体而言,所提方法在RefCOCO(39.21%)、RefCOCO+(39.18%)和RefCOCOg(43.24%)数据集上评估时达到了新的最先进准确率,分别比先前方法高4.17%、4.08%和7.8%。
引用
@article{arxiv.2106.04053,
title = {Discriminative Triad Matching and Reconstruction for Weakly Referring Expression Grounding},
author = {Mingjie Sun and Jimin Xiao and Eng Gee Lim and Si Liu and John Y. Goulermas},
journal= {arXiv preprint arXiv:2106.04053},
year = {2021}
}
备注
TPAMI