EventHands：基于事件流的实时神经三维手部姿态估计
计算机视觉与模式识别
2021-10-12 v3
摘要
从单目视频进行三维手部姿态估计是一个长期存在的挑战性问题，目前正受到强烈关注。在这项工作中，我们首次使用单个事件相机（即一种对亮度变化作出响应的异步视觉传感器）来解决该问题。我们的 EventHands 方法具有此前单目 RGB 或深度相机所未展示的特性，例如在低数据吞吐量下的高时间分辨率和 1000 Hz 的实时性能。由于事件相机与经典相机的数据模态不同，现有方法无法直接应用于事件流并重新训练。因此，我们设计了一种新的神经方法，其接受一种适合学习的新型事件流表示，该方法在 newly-generated 合成事件流上训练，并能泛化到真实数据。实验表明，EventHands 在准确性及捕捉前所未有速度的手部运动能力方面优于近期使用彩色（或深度）相机的单目方法。我们的方法、事件流模拟器和数据集均已公开；见 https://4dqv.mpi-inf.mpg.de/EventHands/
引用
@article{arxiv.2012.06475,
title = {EventHands: Real-Time Neural 3D Hand Pose Estimation from an Event Stream},
author = {Viktor Rudnev and Vladislav Golyanik and Jiayi Wang and Hans-Peter Seidel and Franziska Mueller and Mohamed Elgharib and Christian Theobalt},
journal= {arXiv preprint arXiv:2012.06475},
year = {2021}
}
备注
16 pages, 10 figures, 1 table; project page: https://4dqv.mpi-inf.mpg.de/EventHands/