HMD-Poser：基于可扩展稀疏观测的设备端实时人体运动追踪
计算机视觉与模式识别
2024-03-07 v1
摘要
在 Meta Quest 和 PICO 等独立 VR 头戴式显示器（HMD）上实现实时人体运动追踪尤其具有挑战性。在本文中，我们提出了 HMD-Poser，这是首个利用来自 HMD 和穿戴式 IMU 的可扩展稀疏观测来恢复全身运动的统一方法。特别是，它可以支持多种输入场景，如仅 HMD、HMD+2IMU、HMD+3IMU 等。输入的可扩展性可满足用户对高追踪精度和易穿戴性的选择。HMD-Poser 提出了一种轻量级的时空特征学习网络，以保证模型在 HMD 上实时运行。此外，HMD-Poser 提出了在线身体形状估计以提高身体关节的位置精度。在具有挑战性的 AMASS 数据集上的大量实验结果表明，HMD-Poser 在精度和实时性能方面均达到了新的最先进水平（SOTA）。我们还构建了一个新的自由舞蹈运动数据集，以评估 HMD-Poser 的设备端性能，并研究合成数据与真实采集传感器数据之间的性能差距。最后，我们在商用 HMD 上展示了 HMD-Poser 的实时 Avatar 驱动应用。我们的代码和自由舞蹈运动数据集可在 https://pico-ai-team.github.io/hmd-poser 获取。
引用
@article{arxiv.2403.03561,
title = {HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations},
author = {Peng Dai and Yang Zhang and Tao Liu and Zhen Fan and Tianyuan Du and Zhuo Su and Xiaozheng Zheng and Zeming Li},
journal= {arXiv preprint arXiv:2403.03561},
year = {2024}
}
备注
CVPR2024 Accepted