基于同步性学习的自监督无标注多视角人物关联——面对挑战场景
计算机视觉与模式识别
2025-03-19 v1
摘要
多视角人物关联是多视角人类活动分析的基础步骤。虽然人物重识别特征被证明有效，但在人员外观相似的挑战场景中变得不可靠。因此，需要交叉视角几何约束以实现更稳健的关联。然而，大多数现有方法要么是完全监督的，使用 ground-truth 身份标签，要么需要校准的相机参数，而这些参数难以获取。本文研究了从同步性学习中获取信息的潜力，提出一种无需任何标注的自监督无标注多视角人物关联方法——Self-MVA。具体而言，我们提出了一个自监督学习框架，包括编码器-解码器模型和自监督预文本任务——跨视角图像同步，其旨在区分来自不同视角的两幅图像是否在同一时间捕获。该模型对每个人的统一几何和外观特征进行编码，通过对撰写好的匈牙利匹配后应用同步标签进行监督训练，以弥合实例级距离与图像级距离之间的差距。为进一步缩小解空间，我们提出了两种自监督线性约束：多视角重投影和两两边缘关联。在三个具有挑战性的公开基准数据集（WILDTRACK、MVOR 和 SOLDIERS）上的大量实验表明，我们的方法在准确率上超过了现有的无监督和完全监督方法，实现了最先进的效果。代码可在 https://github.com/CAMMA-public/Self-MVA 查阅。
引用
@article{arxiv.2503.13739,
title = {Learning from Synchronization: Self-Supervised Uncalibrated Multi-View Person Association in Challenging Scenes},
author = {Keqi Chen and Vinkle Srivastav and Didier Mutter and Nicolas Padoy},
journal= {arXiv preprint arXiv:2503.13739},
year = {2025}
}
备注
Accepted for CVPR 2025. Code: https://github.com/CAMMA-public/Self-MVA