基于事件流的人体动作识别：高清基准数据集与算法

人体动作识别（HAR）是计算机视觉和人工智能领域的关键研究方向，RGB 相机一直是该领域调查与创新的首选工具。然而，在实际应用中，RGB 相机面临诸多挑战，包括光照条件、快速运动和隐私问题。因此，受生物启发的神经形态事件相机因其低功耗、高动态范围等优势而受到越来越多的关注。然而，大多数现有的事件基 HAR 数据集分辨率较低（$346 \times 260$）。在本文中，我们基于 CeleX-V 事件相机提出了一个大规模的、高清（$1280 \times 800$）人体动作识别数据集，称为 CeleX-HAR。它涵盖 150 个常见动作类别，共包含 124,625 个视频序列。在录制这些数据时考虑了多视角、光照、动作速度和遮挡等多种因素。为了构建更全面的基准数据集，我们报告了 20 多种主流 HAR 模型供未来工作进行比较。此外，我们还提出了一种用于事件流 HAR 的新型 Mamba 视觉骨干网络 EVMamba，该网络配备了空间平面多方向扫描和新型体素时间扫描机制。通过编码和挖掘事件流的时空信息，我们的 EVMamba 在多个数据集上取得了良好结果。数据集和源代码将在 \url{https://github.com/Event-AHU/CeleX-HAR} 发布。