MBW：野外多视角自举

在非受限环境中标注关节物体具有广泛用途，包括娱乐、神经科学、心理学、动物行为学及众多医学领域。除最常见关节物体类别（如人体）外，并不存在大型离线标注数据集。在视频序列中手工标注这些关键点是一项繁重任务。习得的关键点检测器可提供帮助，但仅从少量样本训练时容易出错。训练细粒度检测器的多相机系统已在检测此类错误方面展现出显著潜力，可实现仅需手工标注视频序列极小比例的自我监督方案。然而，该方法基于标定相机与刚性几何，成本高昂、难以管理且在真实场景中不切实际。本文通过结合非刚性三维神经先验与深度流，从仅含两到三个未标定手持相机的视频中获取高保真关键点估计，从而解决这些瓶颈。仅需少量标注（占帧数的 1–2%），我们便能生成与最先进全监督方法相当的二维结果，以及现有其他方法无法实现的二维重建。我们的野外多视角自举 (MBW) 方法在标准人体数据集以及动物园中随意拍摄的老虎、猎豹、鱼、疣猴、黑猩猩和火烈鸟视频上展示了令人印象深刻的成果。我们发布了 MBW 的代码库，以及这一由长尾分布类别图像帧组成、带有极少人工干预生成的对应二维与三维标签的具有挑战性的动物园数据集。