基于图的空间-时间特征学习用于神经形态视觉传感
计算机视觉与模式识别
2020-10-28 v2
摘要
神经形态视觉传感（NVS）设备将视觉信息表示为异步离散事件（又称“脉冲”）序列，以响应场景反射率的变化。与传统主动像素传感（APS）不同，NVS 允许显著更高的事件采样率，同时大幅提高能效并对光照变化具有鲁棒性。然而，NVS 的特征表示远落后于其基于 APS 的对应方法，导致高层计算机视觉任务性能较低。为充分利用其稀疏和异步特性，我们提出了一种紧凑的 NVS 图表示，可使用图卷积神经网络进行端到端学习。我们将其与一种新颖的端到端特征学习框架相结合，该框架兼顾基于外观和基于运动的任务。我们框架的核心包括一个空间特征学习模块，其利用残差图卷积神经网络（RG-CNN），从图中直接端到端学习基于外观的特征。我们通过提出的 Graph2Grid 块和时间特征学习模块扩展该模块，以高效建模多个图和长时间跨度上的时间依赖关系。我们展示了我们的框架如何配置用于对象分类、动作识别和动作相似性标注。重要的是，我们的方法保留了脉冲事件的空间和时间相干性，同时需要更少的计算和内存。实验验证表明，我们提出的框架在标准数据集上优于所有近期方法。最后，为解决复杂识别任务中缺乏大型真实世界 NVS 数据集的问题，我们引入、评估并公开了美国手语字母（ASL-DVS）以及人体动作数据集（UCF101-DVS、HMDB51-DVS 和 ASLAN-DVS）。
引用
@article{arxiv.1910.03579,
title = {Graph-based Spatial-temporal Feature Learning for Neuromorphic Vision Sensing},
author = {Yin Bi and Aaron Chadha and Alhabib Abbas and Eirina Bourtsoulatze and Yiannis Andreopoulos},
journal= {arXiv preprint arXiv:1910.03579},
year = {2020}
}
备注
16 pages, 5 figures. This work is a journal extension of our ICCV'19 paper arXiv:1908.06648