EMHI: 结合 HMD 与穿戴式 IMU 的多模态自我中心人体运动数据集
计算机视觉与模式识别
2025-11-07 v2
摘要
使用可穿戴传感器的自我中心人体姿态估计 (HPE) 对于 VR/AR 应用至关重要。大多数方法仅依赖自我中心视角图像或稀疏的惯性测量单元 (IMU) 信号，由于图像中的自我遮挡或惯性传感器的稀疏性与漂移而导致不准确。最重要的是，缺乏包含这两种模态的真实世界数据集是该领域进展的主要障碍。为了克服这一障碍，我们提出了 EMHI，一个结合头戴式显示器 (HMD) 与穿戴式 IMU 的多模态自我中心人体运动数据集，所有数据均在真实 VR 产品套件下采集。具体而言，EMHI 提供了来自头显下倾斜摄像机的同步立体图像和来自穿戴式传感器的 IMU 数据，以及 SMPL 格式的姿态标注。该数据集包含由 58 名受试者执行 39 项动作所捕捉的 885 个序列，总录制时长约 28.5 小时。我们通过将标注与基于光学标记的 SMPL 拟合结果进行比较来评估标注。为了证实我们数据集的可靠性，我们引入了 MEPoser，一种用于多模态自我中心 HPE 的新型基线方法，该方法采用多模态融合编码器、时间特征编码器和基于 MLP 的回归头。在 EMHI 上的实验表明，MEPoser 优于现有的单模态方法，并证明了我们的数据集在解决自我中心 HPE 问题中的价值。我们相信 EMHI 及该方法的发布将推进自我中心 HPE 的研究，并加速该技术在 VR/AR 产品中的实际应用。
关键词
引用
@article{arxiv.2408.17168,
title = {EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs},
author = {Zhen Fan and Peng Dai and Zhuo Su and Xu Gao and Zheng Lv and Jiarui Zhang and Tianyuan Du and Guidong Wang and Yang Zhang},
journal= {arXiv preprint arXiv:2408.17168},
year = {2025}
}