BioPose：基于单目视频的生物力学精确3D姿态估计
计算机视觉与模式识别
2025-01-15 v1 人工智能
机器学习
摘要
近年来，基于单相机图像和视频的3D人体姿态估计的进展依赖于诸如SMPL等参数化模型。然而，这些模型过度简化了解剖结构，限制了其在捕捉真实关节位置和运动方面的准确性，从而降低了其在生物力学、医疗保健和机器人领域的适用性。另一方面，生物力学精确的姿态估计通常需要昂贵的基于标记的动作捕捉系统以及专业实验室中的优化技术。为了弥合这一差距，我们提出了BioPose，一种直接从单目视频中预测生物力学精确3D人体姿态的新型基于学习的框架。BioPose包含三个关键组件：多查询人体网格恢复模型（MQ-HMR）、神经逆运动学模型和2D信息姿态优化技术。MQ-HMR利用多查询可变形Transformer提取多尺度细粒度图像特征，实现精确的人体网格恢复。NeurIK将网格顶点视为虚拟标记，应用时空网络在解剖约束下回归出生物力学精确的3D姿态。为了进一步改进3D姿态估计，2D信息优化步骤通过将3D结构与2D姿态观测对齐，在推理过程中优化查询令牌。在基准数据集上的实验表明，BioPose显著优于现有方法。项目网站：\url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}。
引用
@article{arxiv.2501.07800,
title = {BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos},
author = {Farnoosh Koleini and Muhammad Usama Saleem and Pu Wang and Hongfei Xue and Ahmed Helmy and Abbey Fenwick},
journal= {arXiv preprint arXiv:2501.07800},
year = {2025}
}