3D-MuPPET：三维多鸽姿态估计与跟踪
计算机视觉与模式识别
2023-12-18 v3 机器学习
摘要
用于动物姿态跟踪的无标记方法近来发展迅速，但用于三维大规模动物群体跟踪的框架与基准仍显匮乏。为弥补文献中的这一空白，我们提出 3D-MuPPET，一个利用多相机视角以交互速度估计并跟踪多达 10 只鸽子三维姿态的框架。我们训练了一个姿态估计器来推断多只鸽子的二维关键点与边界框，然后将关键点三角化为三维。为在所有视角中匹配个体身份，我们首先在首帧将二维检测结果动态匹配至全局身份，随后使用二维跟踪器在后续帧中跨视角维持 ID。我们在中位误差和正确关键点百分比方面取得了与最先进三维姿态估计器相当的精度。此外，我们对 3D-MuPPET 的推理速度进行了基准测试，其二维速度达 9.45 fps、三维达 1.89 fps，并进行了定量跟踪评估，取得了令人鼓舞的结果。最后，我们展示了 3D-MuPPET 的两个新颖应用。首先，我们使用单只鸽子数据训练模型，并在多达 5 只鸽子的二维与三维姿态估计中取得可比结果。其次，我们表明 3D-MuPPET 亦可在无需自然环境下额外标注的室外工作。这两种用例简化了到新物种与新环境的域迁移，大幅减少了三维姿态跟踪所需的标注工作量。据我们所知，我们首个提出了一种适用于室内外环境、支持多达 10 个个体的二维/三维动物姿态与轨迹跟踪框架。我们希望该框架能开启研究动物集体行为的新机遇，并推动三维多动物姿态跟踪的进一步发展。
引用
@article{arxiv.2308.15316,
title = {3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking},
author = {Urs Waldmann and Alex Hoi Hang Chan and Hemal Naik and Máté Nagy and Iain D. Couzin and Oliver Deussen and Bastian Goldluecke and Fumihiro Kano},
journal= {arXiv preprint arXiv:2308.15316},
year = {2023}
}