两全其美：面向基于事件的光流估计的 SNN-ANN 混合架构
计算机视觉与模式识别
2024-03-20 v2 机器学习
摘要
在机器人领域，基于事件的相机因其稀疏且异步的事件输出，正成为捕获高速运动和高动态范围场景的传统基于帧相机的低功耗替代方案。具有异步事件驱动计算特性的脉冲神经网络（SNN）在从这些事件流中提取时空特征方面展现出巨大潜力。相比之下，标准模拟神经网络（ANN）无法有效处理事件数据。然而，由于额外的可训练参数（阈值和泄漏）、深层中脉冲消失以及不可微的二值激活函数，训练 SNN 十分困难。此外，SNN 中负责跟踪时间信息的额外数据结构——膜电位，必须在每个时间步被读取和更新。为克服这些挑战，我们提出了一种结合两者优势的 novel SNN-ANN 混合架构。具体而言，我们利用 SNN 层的异步计算能力有效提取输入的时间信息；同时，ANN 层便于训练以及在 GPU 等传统机器学习硬件上的高效部署。我们针对每一层应设为脉冲或模拟进行了广泛的实验分析，从而得到在性能和训练便利性上均优化的网络配置。我们在 DSEC-flow 和 Multi-Vehicle Stereo Event-Camera（MVSEC）数据集上评估了我们的混合架构用于光流估计的效果。在 DSEC-flow 数据集上，该 SNN-ANN 混合架构相比全 SNN 平均端点误差（AEE）降低 40% 且能耗降低 22%，相比全 ANN 的 AEE 降低 48%，同时保持相当的能耗水平。
引用
@article{arxiv.2306.02960,
title = {Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation},
author = {Shubham Negi and Deepika Sharma and Adarsh Kumar Kosta and Kaushik Roy},
journal= {arXiv preprint arXiv:2306.02960},
year = {2024}
}