基于输入滤波神经常微分方程的短事件相机流实时分类
计算机视觉与模式识别
2020-04-08 v1 神经与进化计算
摘要
事件相机是受人类视觉系统启发而提出的新型高效传感器，可生成异步的、逐像素的数据流。对此类数据的学习通常通过大量预处理并将事件积分成图像来进行，这需要缓冲可能很长的序列，并会限制推理系统的响应时间。在本工作中，我们转而提出直接使用来自 DVS 相机的事件，即强度变化及其空间坐标的流。该序列被用作一种新颖的、类 RNN 的异步架构——输入滤波神经常微分方程（Input-filtering Neural ODEs，INODE）的输入。这受到动力系统与滤波文献的启发。INODE 是神经常微分方程（Neural ODEs，NODE）的扩展，允许像滤波中那样将输入信号连续馈入网络。该方法通过实现批量前向欧拉求解器，自然地处理具有不规则时间戳的时间序列批次。INODE 像标准 RNN 一样训练，它学习区分短事件序列并执行逐事件的在线推理。我们在一系列分类任务上展示了我们的方法，并与一组 LSTM 基线进行比较。我们表明，无论相机分辨率如何，INODE 在 ASL 任务上都能大幅优于基线，并且在 NCALTECH 任务上与一个大得多的 LSTM 表现相当。最后，我们展示了即使只提供极少事件，INODE 依然准确。
引用
@article{arxiv.2004.03156,
title = {Real-time Classification from Short Event-Camera Streams using Input-filtering Neural ODEs},
author = {Giorgio Giannone and Asha Anoosheh and Alessio Quaglino and Pierluca D'Oro and Marco Gallieri and Jonathan Masci},
journal= {arXiv preprint arXiv:2004.03156},
year = {2020}
}
备注
Submitted to ICML 2020