EA-RAS：面向高效精准解码解剖学骨架的端到端方法
计算机视觉与模式识别
2024-09-04 v1 人工智能
摘要
高效、准确且低成本的人类骨架信息估计对于生物学教育和人机交互等诸多应用至关重要。然而，当前基于 2D-3D 关节点点的简单骨架模型在解剖真实性方面不足，限制了其在相关领域的实用性。而较为复杂的模型虽解剖精确，但受制于复杂的多阶段处理和需额外数据（如皮肤网格），难以适用于实时应用。为此，我们提出了 EA-RAS（Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton），一个单阶段、轻量级且即插即用的数据驱动解剖学骨架估计器，能够仅通过单张 RGB 图像输入即可提供任意姿态下的实时、准确且解剖上真实的骨架。此外，EA-RAS 显式估计常规人类网格模型，这不仅提升了功能性，还通过整合特征到骨架建模过程中，利用了外部皮肤信息。在本文中，我们还开发了渐进式训练策略并将其集成到增强的优化过程中，使网络仅通过少量皮肤数据集即可获得初始权重，并在骨架重建中实现自监督。此外，我们还提供一种可选的轻量级后处理优化策略，以在强调精度而非实时性的场景中进一步提升准确度。实验表明，我们的回归方法比现有方法快 800 倍以上，满足实时要求。此外，提供的后处理优化策略可将重建准确度提升 50% 以上，速度提升超过 7 倍。
引用
@article{arxiv.2409.01555,
title = {EA-RAS: Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton},
author = {Zhiheng Peng and Kai Zhao and Xiaoran Chen and Li Ma and Siyu Xia and Changjie Fan and Weijian Shang and Wei Jing},
journal= {arXiv preprint arXiv:2409.01555},
year = {2024}
}
备注
13 pages,15 figures