EventEgo3D++：基于头戴式事件相机的3D人体运动捕捉
计算机视觉与模式识别
2025-02-13 v1
摘要
单摄像头 egocentric 3D 人体运动捕捉在低照明和快速运动条件下仍是重大挑战，这些条件在佩戴头盔式设备的应用中常见。依赖RGB相机的现有方法在此类条件下往往失效。为解决这些限制，我们引入EventEgo3D++，这是首个利用单摄像头事件相机搭配鱼眼镜头进行3D人体运动捕捉的方法。事件相机因其高时序分辨率在高速场景和可变照明条件下表现出色，为准确的3D人体运动捕捉提供可靠线索。EventEgo3D++利用事件流的LNES表示方法实现精确的3D重建。我们还开发了一款配备事件相机的移动头戴式显示器(HMD)原型，捕获包括受控实验室环境和野外真实场景的真实事件观察数据，以及合成数据集。此外，为提供更全面的数据集，我们包括提供HMD佩戴者不同视角的allocentric RGB流及其对应的SMPL人体模型。我们的实验表明，EventEgo3D++在挑战性条件下实现了优于现有解决方案的更高3D精度和鲁棒性。此外，该方法支持每秒140次的实时3D姿态更新。该工作是EventEgo3D方法(CVPR 2024)的延续，进一步推动了以往在以太3D人体运动捕捉方面的技术进步。欲了解更多详情，请访问项目页面 https://eventego3d.mpi-inf.mpg.de。
引用
@article{arxiv.2502.07869,
title = {EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera},
author = {Christen Millerdurai and Hiroyasu Akada and Jian Wang and Diogo Luvizon and Alain Pagani and Didier Stricker and Christian Theobalt and Vladislav Golyanik},
journal= {arXiv preprint arXiv:2502.07869},
year = {2025}
}
备注
30 pages, 20 figures, 9 tables. arXiv admin note: text overlap with arXiv:2404.08640