自监督多视角人体关联及其应用

从多个移动摄像头对参与复杂群体活动的人群进行可靠的无标记运动跟踪具有挑战性，原因在于频繁的遮挡、强烈的视角与外观变化，以及异步的视频流。为解决此问题，在不同远距视角和时间实例间对同一个人进行可靠关联至关重要。我们提出一种自监督框架，通过利用运动跟踪、互斥约束和多视角几何，将通用的人体外观描述子适配到无标签视频上。适配后的判别性描述子被用于一种基于聚类的跟踪公式。我们在WILDTRACK [14]以及由多个摄像头捕获、多达60人“在野外”的三个新复杂社交场景上验证了描述子学习的有效性。我们报告了相比基线在关联精度上显著提升（高达18%）以及稳定且连贯的3D人体骨架跟踪（5至10倍）。利用重建的3D骨架，我们将输入视频剪辑成多角度视频，其中指定人物的图像从最佳可见的正向摄像头显示。我们的算法检测人际遮挡以确定摄像头切换时刻，同时仍保持良好的动作连贯性。