CREST：一种利用时空动态的高效联合训练脉冲驱动事件目标检测框架
计算机视觉与模式识别
2025-01-22 v3 人工智能
摘要
事件相机具有高时间分辨率、宽动态范围和低功耗的特点，非常适合高速和低光照条件下的目标检测。脉冲神经网络 因其脉冲特性在基于事件的目标识别与检测方面极具潜力，但缺乏高效的训练方法，尤其是在深度 SNN 中，容易导致梯度消失和高计算复杂度。此外，现有的 SNN 框架往往无法有效处理多尺度时空特征，导致数据冗余增加和精度降低。为了解决这些问题，我们提出了 CREST，一种新颖的联合训练脉冲驱动框架，以利用基于事件目标检测中的时空动态。我们引入联合学习规则来加速 SNN 学习并缓解梯度消失。它还支持双操作模式，以便在不同类型的硬件上实现高效且灵活的部署。此外，CREST 具有完全脉冲驱动的框架，包含多尺度时空事件积分器 (MESTOR) 和时空 IoU (ST-IoU) 损失。与最先进的 SNN 算法相比，我们的方法在三个数据集上实现了卓越的目标识别与检测性能，并具有高达 100 倍的能效，为适合 SNN 硬件实现的基于事件目标检测算法提供了高效解决方案。
引用
@article{arxiv.2412.12525,
title = {CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics},
author = {Ruixin Mao and Aoyu Shen and Lin Tang and Jun Zhou},
journal= {arXiv preprint arXiv:2412.12525},
year = {2025}
}
备注
Accepted by AAAI 2025