Spike-FlowNet：基于事件的、具有高能效混合神经网络的光流估计
神经与进化计算
2020-09-16 v3
摘要
基于事件的相机在高速运动检测和低光环境导航等多种任务中展现出巨大潜力，而传统基于帧的相机在这些任务中表现严重受限。这归因于其高时间分辨率、高动态范围和低功耗。然而，传统的计算机视觉方法以及深度模拟神经网络（ANN）并不适合处理事件相机输出的异步和离散特性。脉冲神经网络（SNN）是处理事件相机输出的理想范式，但深度 SNN 由于脉冲消失现象而在性能上受限。为克服这些问题，我们提出 Spike-FlowNet，一种集成 SNN 与 ANN 的深度混合神经网络架构，用于从稀疏事件相机输出中高效估计光流且不牺牲性能。该网络在 Multi-Vehicle Stereo Event Camera（MVSEC）数据集上通过自监督学习进行端到端训练。Spike-FlowNet 在光流预测能力上优于其对应的基于 ANN 的方法，同时提供了显著的计算效率。
引用
@article{arxiv.2003.06696,
title = {Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks},
author = {Chankyu Lee and Adarsh Kumar Kosta and Alex Zihao Zhu and Kenneth Chaney and Kostas Daniilidis and Kaushik Roy},
journal= {arXiv preprint arXiv:2003.06696},
year = {2020}
}
备注
European Conference on Computer Vision (ECCV) 2020