EventCrab：面向基于事件的动作识别的帧与点的协同
计算机视觉与模式识别
2026-04-20 v2
摘要
基于事件的动作识别 (EAR) 相较于传统动作识别具有高时间分辨率捕获和隐私保护等优势。当前领先的 EAR 解决方案通常遵循两种模式：将未构造的事件流投射到密集构造事件帧上并采用强大的帧特定网络，或采用轻量级点特定网络直接处理稀疏未构造的事件点。然而，这两种模式都忽视了一个根本问题：无法适配异步事件数据独有的稠密时间和稀疏空间特性。本文提出一种协同感知框架，即 EventCrab，巧妙地将用于稠密事件帧的“轻型”帧特定网络与用于稀疏事件点的“重型”点特定网络相集成，实现精度与效率的平衡。此外，我们建立了联合的帧-文本-点表征空间，以桥接不同的事件帧和点。在具体方面，为更好地利用异步事件点固有的时空关系，我们为“重型”点特定嵌入设计了两种策略：i) 一个类似放电的情境学习器 (SCL)，从原始事件流中提取具有上下文感知的事件点。ii) 一个事件点编码器 (EPE)，进一步以希伯曼扫描方式探索事件点的长时空特征。实验在四个数据集上进行，显示出我们提出的 EventCrab 在显著性能，尤其在 SeAct 上提升 5.17%，在 HARDVS 上提升 7.01%。
引用
@article{arxiv.2411.18328,
title = {EventCrab: Harnessing Frame and Point Synergy for Event-based Action Recognition and Beyond},
author = {Meiqi Cao and Xiangbo Shu and Jiachao Zhang and Rui Yan and Zechao Li and Jinhui Tang},
journal= {arXiv preprint arXiv:2411.18328},
year = {2026}
}
备注
The experiments in this paper are not comprehensive enough to make the conclusions convincing. The authors are adding more experimental scenarios and will resubmit after completion