多模态动物姿态估计：综述与深入分析
计算机视觉与模式识别
2025-01-07 v2 人工智能
机器学习
摘要
动物姿态估计（APE）旨在使用多样化的传感器和模态输入（如RGB摄像头、LiDAR、红外、IMU、声学和语言线索）定位动物身体部位，这对于神经科学、生物力学和兽医学的研究至关重要。通过评估2011年以来的176篇论文，分类方法按输入传感器和模态类型、输出形式、学习范式、实验设置和应用领域进行归类，详细分析了单模态和多模态APE系统的当前趋势、挑战和未来方向。分析还突出了从人类姿态估计向动物姿态估计的过渡，以及APE如何能反过来丰富人类姿态估计和更广泛的机器学习范式。此外，提供了基于不同传感器和模态类型的2D和3D APE数据集和评估指标。一个定期更新的项目页面请参见：https://github.com/ChennyDeng/MM-APE
引用
@article{arxiv.2410.09312,
title = {Towards Multi-Modal Animal Pose Estimation: A Survey and In-Depth Analysis},
author = {Qianyi Deng and Oishi Deb and Amir Patel and Christian Rupprecht and Philip Torr and Niki Trigoni and Andrew Markham},
journal= {arXiv preprint arXiv:2410.09312},
year = {2025}
}
备注
35 pages, 5 figures, 8 tables. Qianyi Deng and Oishi Deb are Joint Major Contributors to this work