面向低延迟基于事件的目标检测的空间稀疏线性注意力
计算机视觉与模式识别
2026-03-09 v1
摘要
事件相机提供具有空间稀疏性和高时间分辨率的序列视觉数据，使其成为低延迟目标检测的有力选择。现有的基于事件的异步神经网络通过逐事件更新预测来实现这种低延迟优势，但仍受两个瓶颈制约：循环体系结构在长序列上难以有效训练，且提高准确率通常会增加每个事件的计算量和延迟。线性注意力在此设置下非常有吸引力，因为它支持并行训练和循环推理。然而，标准线性注意力为每个事件更新全局状态，导致准确率与效率之间的权衡不佳，这对于目标检测来说不利，因为后者需要精细的表征而状态更为关键。因此，核心挑战在于引入稀疏状态激活，以利用事件稀疏性同时保持高效并行训练。我们提出了空间稀疏线性注意力 (Spatially-Sparse Linear Attention, SSLA)，其引入混合空间状态分解和 scatter-compute-gather 训练程序，实现状态级稀疏性以及训练并行性。基于 SSLA，我们开发了一个面向事件目标检测的端到端异步线性注意力模型，SSLA-Det。在 Gen1 和 N-Caltech101 数据集上，SSLA-Det 在异步方法中实现了最高准确率，分别达到 0.375 mAP 和 0.515 mAP，同时将每个事件的计算量降低了超过 20 倍相对于最强的以前异步基线，展示了线性注意力在低延迟事件视觉中的潜力。
引用
@article{arxiv.2603.06228,
title = {Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention},
author = {Haiqing Hao and Zhipeng Sui and Rong Zou and Zijia Dai and Nikola Zubić and Davide Scaramuzza and Wenhui Wang},
journal= {arXiv preprint arXiv:2603.06228},
year = {2026}
}