EventEgo3D：来自第一人称事件流的3D人体运动捕捉

单目第一人称3D人体运动捕捉是一个具有挑战性且积极研究的问题。现有方法使用同步运行的视觉传感器（如RGB相机），并且通常在低光照和快速运动下失败，这在许多涉及头戴设备的应用中可能受到限制。针对现有局限性，本文1）引入了一个新问题，即使用带有鱼眼镜头的单目第一人称事件相机进行3D人体运动捕捉，2）提出了第一种方法，称为EventEgo3D（EE3D）。事件流具有高时间分辨率，并在高速人体运动和快速变化的照明下为3D人体运动捕捉提供可靠线索。所提出的EE3D框架专门针对LNES表示中的事件流学习而设计，实现了高3D重建精度。我们还设计了一个带有事件相机的移动头戴设备原型，并记录了一个包含事件观测和真实3D人体姿态的真实数据集（除了合成数据集）。我们的EE3D在各种具有挑战性的实验中表现出鲁棒性和优于现有解决方案的3D精度，同时支持140Hz的实时3D姿态更新率。