从单目事件流提升得到3D人体姿态
计算机视觉与模式识别
2021-04-22 v1
摘要
本文提出一种以单路异步事件流为输入的新型3D人体姿态估计方法。多数前沿方法使用RGB相机解决该任务，但在受试者快速运动时表现不佳。另一方面，基于事件的3D姿态估计受益于事件相机的优势，尤其是其高效性与对表观变化的鲁棒性。然而，在异步事件中寻找人体姿态通常比标准RGB姿态估计更具挑战，因为静态场景中触发极少甚至无事件。在此我们提出首个基于学习的从单路事件流估计3D人体姿态的方法。我们的方法包含两步。首先，处理事件相机流以预测每个关节的三个正交热图；每个热图是该关节在一个正交平面上的投影。接着，融合多组热图以估计身体关节的3D定位。作为另一贡献，我们通过从RGB Human3.6m数据集模拟事件，提供了一个基于事件的人体姿态估计新且具有挑战性的数据集。实验表明，我们的方法取得了可靠的精度，缩小了标准RGB与基于事件视觉间的性能差距。代码发布于 https://iit-pavis.github.io/lifting_events_to_3d_hpe。
引用
@article{arxiv.2104.10609,
title = {Lifting Monocular Events to 3D Human Poses},
author = {Gianluca Scarpellini and Pietro Morerio and Alessio Del Bue},
journal= {arXiv preprint arXiv:2104.10609},
year = {2021}
}