高效基于事件的对象检测：融合空间与时间注意力的混合神经网络
计算机视觉与模式识别
2025-06-23 v4 人工智能
摘要
事件相机具有高时间分辨率和动态范围，运动模糊最小，因而适用于稳健的对象检测。虽然基于神经形态硬件的脉冲神经网络 (SNN) 常被视为实现能源高效和低延迟的事件数据处理的理想选择，但在准确性和灵活性方面常不如人工神经网络 (ANN)。本文引入基于注意力的混合 SNN-ANN 主干网络，用于事件基于对象检测，以发挥 SNN 和 ANN 架构的优势。一种新颖的基于注意力的 SNN-ANN 桥接模块从 SNN 层中捕获稀疏的空间和时间关系，并将其转换为 ANN 部分的密集特征图。此外，我们提出一种变体，将 DWConvL-STMs 集成到 ANN 块中，以捕获较慢的动态。这种多时间尺度网络结合了短时间步长的快速 SNN 处理和长期密集 RNN 处理，有效地捕捉了快速和慢速动态。实验结果表明，我们提出的方法在 SNN 方法上显著超越，且结果相当于现有的 ANN 和 RNN 方法。与仅使用的 ANN 网络不同，混合设置允许我们在数字神经形态硬件上实现 SNN 块，以探讨该方法的可行性。广泛的消融研究和神经形态硬件实现均确认我们所提出模块和架构选择的有效性。我们的混合 SNN-ANN 架构为在大幅度降低参数、延迟和功耗预算的情况下实现类 ANN 性能开辟了道路。
引用
@article{arxiv.2403.10173,
title = {Efficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention},
author = {Soikat Hasan Ahmed and Jan Finkbeiner and Emre Neftci},
journal= {arXiv preprint arXiv:2403.10173},
year = {2025}
}