基于无监督 STDP 学习的脉冲双流动作识别方法
计算机视觉与模式识别
2025-02-04 v1 神经与进化计算
摘要
视频分析是一项计算机视觉任务，在监控、人机交互和自动驾驶车辆等诸多应用中十分有用。深度卷积神经网络（CNNs）目前是视频分析的最先进方法。然而它们计算成本高，且需要大量标注数据用于训练。在本文中，我们使用以无监督脉冲时序依赖可塑性（STDP）学习规则训练的卷积脉冲神经网络（CSNNs）进行动作分类。这些网络利用异步低能耗脉冲表示信息，使网络更具能效且对神经形态硬件友好。然而，CSNNs 在时空计算机视觉模型中的行为尚缺乏充分研究。因此，我们探索将双流神经网络转置到脉冲域中。以基于无监督 STDP 的 CSNNs 实现该模型，使我们能进一步研究这些网络在视频分析中的性能。本工作中，我们表明双流 CSNNs 能够成功从视频中提取时空信息，尽管仅使用了有限的训练数据，并且脉冲空间流与时空流具有互补性。我们还表明，在基于脉冲 STDP 的双流架构中使用时空流会导致信息冗余，且不会提升性能。
引用
@article{arxiv.2306.13783,
title = {Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition},
author = {Mireille El-Assal and Pierre Tirilly and Ioan Marius Bilasco},
journal= {arXiv preprint arXiv:2306.13783},
year = {2025}
}