基于 STDP 训练的脉冲神经网络用于时空动作识别的预处理效应研究
计算机视觉与模式识别
2021-07-06 v1
摘要
近年来，脉冲神经网络（SNN）受到越来越多的关注。SNN 被视为解决 ANN 在模式识别中瓶颈（如能效）的假设性方案。但当前的 ANN 到 SNN 转换和反向传播等方法并未充分利用这些网络，且无监督方法尚未取得可与先进人工神经网络媲美的成功。研究使用无监督学习方法（如脉冲时间依赖可塑性（STDP））训练的 SNN 在视频分类任务上的行为十分重要，包括利用脉冲建模运动信息的机制，因为该信息对视频理解至关重要。本文提出了多种将时间信息转置为静态格式、随后使用延迟编码将视觉信息转换为脉冲的方法。这些方法与早期融合和晚期融合两类时间融合相结合，用于帮助脉冲神经网络从视频中捕获时空特征。本文中，我们依赖使用 STDP 训练的卷积脉冲神经网络架构，并测试该网络在动作识别任务上的性能。理解脉冲神经网络对不同运动提取与表示方法响应的方式，有助于缩小 SNN 与 ANN 之间的性能差距。本文展示了某些动作在形状和速度上的相似性对脉冲神经网络动作识别的影响，并突出了部分方法相对于其他方法的的有效性。
引用
@article{arxiv.2105.14740,
title = {A Study On the Effects of Pre-processing On Spatio-temporal Action Recognition Using Spiking Neural Networks Trained with STDP},
author = {El-Assal Mireille and Tirilly Pierre and Bilasco Ioan Marius},
journal= {arXiv preprint arXiv:2105.14740},
year = {2021}
}