ObjectRelator: 实现跨视角对象关系理解——从自我中心视角到外观中心视角

在计算机视觉中，跨越自我中心视角与外观中心视角之间的鸿沟是长期以来的难题。本文聚焦于 emerging的 Ego-Exo对象对应任务，即通过分割理解自我中心视角与外观中心视角之间的对象关系。虽然已提出许多分割模型，但大多数仅针对单一图像（视角），难以应用于跨视角场景。PSALM是最近提出的分割方法之一，已在该任务上展现出零样本能力。然而，由于自我中心视角与外观中心视角之间的视角变化极大，PSALM难以准确定位和分割对象，尤其是在复杂背景或对象外观发生显著变化时。为此，我们提出ObjectRelator，一种新型方法，包含两个关键模块：多模态条件融合（MCFuse）和基于SSL的跨视角对象对齐（XObjAlign）。MCFuse引入语言作为额外线索，将视觉掩码和文本描述整合，以提高对象定位并防止错误关联。XObjAlign通过自监督对齐实现跨视角一致性，增强对对象外观变化的鲁棒性。大量实验表明，ObjectRelator在大规模Ego-Exo4D基准数据集和HANDAL-X（用于跨视角分割的改编数据集）上实现了最先进的性能。代码已公开发布于http://yuqianfu.com/ObjectRelator。