利用深度状态空间模型对神经形态感官信号进行可扩展的逐事件处理
机器学习
2024-10-10 v3 人工智能
神经与进化计算
摘要
基于事件的传感器因其快速响应时间以及将感官数据编码为连续时间差值，非常适合实时处理。当数据转换为基于帧的格式时，这些及其他有价值特性（如高动态范围）会被抑制。然而，当前大多数方法要么将事件折叠成帧，要么在直接逐事件处理事件数据时无法扩展。在本工作中，我们解决了扩展此类传感器发出的长事件流的逐事件建模的关键挑战，这对于神经形态计算尤为相关。虽然先前的方法只能处理几千个时间步，但我们基于现代循环深度状态空间模型的模型，在训练和推理上均可扩展至数百万个事件的事件流。我们利用其稳定的参数化来学习长程依赖性、沿序列维度的可并行性，以及有效整合异步事件的能力，将其扩展至长事件流。我们进一步用新颖的以事件为中心的技术对其进行了增强，使我们的模型能够在多个事件流基准上匹配或超越 SOTA 性能。在 Spiking Speech Commands 任务中，我们将 STA 大幅提升了 7.7%，达到 88.4%。在 DVS128-Gestures 数据集上，我们在不使用帧或卷积神经网络的情况下取得了具有竞争力的结果。我们的工作首次证明，使用完全基于事件的处理与纯循环网络在多个基于事件的基准上实现 SOTA 任务性能是可行的。
引用
@article{arxiv.2404.18508,
title = {Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models},
author = {Mark Schöne and Neeraj Mohan Sushma and Jingyue Zhuge and Christian Mayr and Anand Subramoney and David Kappel},
journal= {arXiv preprint arXiv:2404.18508},
year = {2024}
}