基于事件相机与三维事件表示的人体姿态估计探索
计算机视觉与模式识别
2024-09-27 v4 多媒体
机器人学
图像与视频处理
摘要
人体姿态估计是计算机视觉中基础且引人关注的任务。尽管传统相机被普遍使用，其在高动态范围或严重运动模糊场景下的可靠性下降，而事件相机提供了鲁棒方案。主流基于事件的方法将事件累积为帧，忽略了对于区分不同动作至关重要的异步性与高时间分辨率。为解决此问题并释放事件信息的三维潜力，我们引入两种三维事件表示：栅格化事件点云（RasEPC）与解耦事件体素（DEV）。RasEPC 在相同位置上的简明时间切片内聚合事件，保留其三维属性与统计信息，从而显著降低内存与计算需求。同时，DEV 表示将事件离散化为体素并投影到三个正交平面，利用解耦事件注意力从二维平面中恢复三维线索。此外，我们开发并发布了 EV-3DPW，一个合成基于事件的户外场景数据集，以促进训练与定量分析。我们的方法在 DHP19 公开数据集、MMHPSD 数据集及我们的 EV-3DPW 数据集上测试，并通过衍生的驾驶场景数据集 EV-JAAD 与户外采集车做进一步定性验证。我们的代码与数据集已公开于 https://github.com/MasterHow/EventPointPose。
引用
@article{arxiv.2311.04591,
title = {Exploring Event-based Human Pose Estimation with 3D Event Representations},
author = {Xiaoting Yin and Hao Shi and Jiaan Chen and Ze Wang and Yaozu Ye and Kailun Yang and Kaiwei Wang},
journal= {arXiv preprint arXiv:2311.04591},
year = {2024}
}
备注
Accepted to Computer Vision and Image Understanding (CVPU). Extended version of arXiv:2206.04511. The code and dataset are available at https://github.com/MasterHow/EventPointPose