基于循环一致性掩码预测的跨视图对象对应学习
计算机视觉与模式识别
2026-03-26 v2
摘要
我们研究了在视频中建立对象级视觉对应关系的任务，聚焦于以原初视角到外显视角以及外显视角到原初视角为导向的挑战性场景。我们提出一种基于条件二进制分割的简单而有效的框架，其中将对象查询掩码编码为潜在表示，以引导在目标视频中定位对应的对象。为鼓励鲁棒且具有视角不变性的表示，我们引入循环一致性训练目标：将目标视图中的预测掩码投影回源视图，以重建原始查询掩码。这种双向约束提供了强大的自监督信号，无需 ground-truth 标注，使其在推理时的测试时间训练(TTT)成为可能。在 Ego-Exo4D 和 HANDAL-X 数据集上的实验表明，我们的优化目标和 TTT 策略有效，实现了最新的性能。代码已公开于 https://github.com/shannany0606/CCMP。
引用
@article{arxiv.2602.18996,
title = {Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction},
author = {Shannan Yan and Leqi Zheng and Keyu Lv and Jingchen Ni and Hongyang Wei and Jiajun Zhang and Guangting Wang and Jing Lyu and Chun Yuan and Fengyun Rao},
journal= {arXiv preprint arXiv:2602.18996},
year = {2026}
}
备注
The paper has been accepted to CVPR 2026 main track