多跳关系对比学习：超越成对关系的空间对比预训练方法
计算机视觉与模式识别
2026-05-19 v1
摘要
理解物体在空间中的相互关系是场景理解的基本任务，但大多数对比预训练方法仅建模成对关系，留下了更丰富的组合和多跳相互作用。我们引入多跳关系对比学习（MRCL），一种扩展空间对比学习至图结构场景表示的框架。通过在由检测到的物体构建的场景图中追踪 k 步路径，MRCL 捕获超越直接物体对能表达的隐式空间依赖。我们定义跨节点、边缘和多跳路径的多级对比目标，鼓励生成的嵌入在对象语义上保持稳定，同时对空间布局保持敏感。我们在 GQA 数据集的子集上进行实验，MRCL 生成的空间感知表示在基于内容的图检索（NDCG@5 = 0.748）方面取得优异成绩，并且在下游任务（包括空间关系识别和图基问答）上 consistently 获益。这些结果表明，多跳关系监督比仅基于成对的方法提供了更丰富的结构指导，导致更具鲁棒性、可组合性和几何感知力的视觉表示。
引用
@article{arxiv.2605.16456,
title = {Multi-hop Relational Contrastive Learning: Extending Spatial Contrastive Pre-training Beyond Pairwise Relations},
author = {Sheikh Tanvir Ahmed and Md. Tanvir Raihan},
journal= {arXiv preprint arXiv:2605.16456},
year = {2026}
}