重新思考基于点云的高效且有效的事件相机分类与回归方法：EventMamba
计算机视觉与模式识别
2025-03-31 v4
摘要
事件相机受生物系统的启发，具备低延迟、高动态范围和低功耗优势。当前处理事件云最新方法常将其转换为帧基表示，忽略了事件的稀疏性、丢失了细粒度的时间信息，并增加了计算负担。相比之下，点云是处理三维数据流行的表示方法，作为替代方案可利用局部和全局空间特征。然而，现有点基方法在处理时空事件流方面表现不佳。为弥合差距，我们提出EventMamba，一种基于点云表示的高效且有效框架，通过重新思考事件云与点云之间的区别，强调关键时间信息。随后，事件云被输入具有阶段模块的层次结构，以处理隐式和显式时间特征。具体而言，我们重新设计全局提取器，通过时间聚合和基于状态空间模型(SSM)的Mamba技术，增强对长事件序列中显式时间提取。实验中，该模型消耗最少的计算资源，仍在六个不同规模的动作识别数据集上实现SOTA点基性能。甚至在相机姿态重定位(CPR)和眼动跟踪回归任务中超越了所有帧基方法。我们的代码已公开：https://github.com/rhwxmx/EventMamba。
引用
@article{arxiv.2405.06116,
title = {Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba},
author = {Hongwei Ren and Yue Zhou and Jiadong Zhu and Haotian Fu and Yulong Huang and Xiaopeng Lin and Yuetong Fang and Fei Ma and Hao Yu and Bojun Cheng},
journal= {arXiv preprint arXiv:2405.06116},
year = {2025}
}
备注
Accepted by TPAMI