基于无监督 STDP 训练的二维与三维卷积脉冲神经网络用于人体动作识别
计算机视觉与模式识别
2022-05-27 v1
摘要
当前的技术进展凸显了视频分析在计算机视觉领域的重要性。然而，传统人工神经网络（ANNs）进行视频分析具有相当高的计算成本。脉冲神经网络（SNNs）是第三代具有生物学合理性的模型，以脉冲形式处理信息。使用脉冲时序依赖可塑性（STDP）规则的 SNN 无监督学习有潜力克服常规人工神经网络的一些瓶颈，但基于 STDP 的 SNN 仍不成熟且其性能远落后于 ANN。在本工作中，我们研究 SNN 在面对人体动作识别任务时的性能，因为该任务在计算机视觉中有许多实时应用，如视频监控。本文引入一种用无监督 STDP 训练的多层三维卷积 SNN 模型。我们将该模型与基于二维 STDP 的 SNN 在 KTH 和 Weizmann 数据集上的表现进行比较。我们还比较了这些模型的单层与多层版本，以准确评估其性能。我们表明基于 STDP 的卷积 SNN 可利用三维核学习运动模式，从而实现基于视频运动的识别。最后，我们给出证据表明，在基于 STDP 的 SNN 中三维卷积优于二维卷积，尤其在处理长视频序列时。
引用
@article{arxiv.2205.13474,
title = {2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition},
author = {Mireille El-Assal and Pierre Tirilly and Ioan Marius Bilasco},
journal= {arXiv preprint arXiv:2205.13474},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2105.14740 by other authors