面向基于组的指代表达理解的差异相关性嵌入
计算机视觉与模式识别
2023-06-05 v2
摘要
指代表达理解的关键在于捕捉跨模态的视觉-语言相关性。现有工作通常在每幅图像内建模跨模态相关性，其中锚定物体/表达及其正表达/物体与负表达/物体具有相同的属性但属性值不同。这些物体/表达被专门用来通过一对不同值学习属性的隐式表示，然而这阻碍了属性表示、表达/物体表示及其跨模态相关性的准确性，因为每个锚定物体/表达通常具有多个属性，而每个属性通常具有多个潜在取值。为此，我们研究一种称为基于组的 REC 的新颖 REC 问题，其中每个物体/表达被同时用于在与语义相似图像之间构建多个三元组。为应对负样本爆炸以及锚定-负样本相关性得分的差异性，我们提出多组自步相关性学习框架，基于跨模态相关性自适应地为组内物体-表达对分配不同优先级。由于平均跨模态相关性在不同组间差异很大，我们进一步设计组间相关性约束以平衡组优先级的偏置。在三个标准 REC 基准上的实验证明了我们方法的有效性与优越性。
引用
@article{arxiv.2203.06382,
title = {Differentiated Relevances Embedding for Group-based Referring Expression Comprehension},
author = {Fuhai Chen and Xuri Ge and Xiaoshuai Sun and Yue Gao and Jianzhuang Liu and Fufeng Chen and Wenjie Li},
journal= {arXiv preprint arXiv:2203.06382},
year = {2023}
}