EgoHDM：一个在线式以自我为中心-惯性人体运动捕捉、定位与稠密建图系统
计算机视觉与模式识别
2024-09-06 v2
摘要
我们提出 EgoHDM，一个在线式以自我为中心-惯性人体运动捕捉（mocap）、定位与稠密建图系统。我们的系统使用 6 个惯性测量单元（IMU）和一个商用头戴式 RGB 相机。EgoHDM 是首个能近实时提供稠密场景建图的人体运动捕捉系统。此外，它初始化快速且鲁棒，并在物理上合理的、地图感知的全局人体运动估计与运动捕捉感知的 3D 场景重建之间完全闭环。我们的核心思想是在系统中将相机定位与建图信息与惯性人体运动捕捉进行双向整合。为实现这一点，我们设计了一个紧耦合的运动捕捉感知稠密光束法平差模块，以及一个利用局部身体中心高程图的基于物理的身体姿态校正模块。后者引入了一种新颖的地形感知接触 PD 控制器，使角色能够与给定的局部高程图进行物理接触，从而减少人体漂浮或穿透。我们在已建立的合成和真实世界基准上展示了我们系统的性能。结果表明，与现有最优技术相比，我们的方法将人体定位、相机姿态和建图精度误差分别降低了 41%、71% 和 46%。我们在新采集数据上的定性评估进一步证明，EgoHDM 能够覆盖非平坦地形中的挑战性场景，包括跨越楼梯和野外户外场景。
引用
@article{arxiv.2409.00343,
title = {EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System},
author = {Bonan Liu and Handi Yin and Manuel Kaufmann and Jinhao He and Sammy Christen and Jie Song and Pan Hui},
journal= {arXiv preprint arXiv:2409.00343},
year = {2024}
}
备注
Project Page: https://handiyin.github.io/EgoHDM/