S3TC：基于无监督STDP学习的脉冲分离时空卷积用于动作识别
计算机视觉与模式识别
2023-09-25 v1 神经与进化计算
摘要
视频分析是近年来备受关注的主要计算机视觉任务。当前视频分析的最先进性能由深度神经网络（DNN）取得，其计算成本高且需大量标注数据训练。脉冲神经网络（SNN）在神经形态硬件上实现时计算成本显著低于常规非脉冲网络（数千倍）。其已通过3D卷积脉冲神经网络（3D CSNN）等方法用于视频分析。然而，这些网络相较脉冲2D CSNN参数量显著更大。这不仅增加计算成本，也更难用神经形态硬件实现。本工作中，我们使用以脉冲时序依赖可塑性（STDP）规则无监督训练的CSNN，并首次引入脉冲分离时空卷积（S3TC）以减少视频分析所需参数量。该无监督学习优势在于无需大量标注数据训练。将单一时空脉冲卷积分解为空间与 temporal 脉冲卷积降低了网络参数量。我们在KTH、Weizmann与IXMAS数据集上测试网络，表明S3TC成功从视频提取时空信息，同时增加输出脉冲活动，并优于脉冲3D卷积。
引用
@article{arxiv.2309.12761,
title = {S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition},
author = {Mireille El-Assal and Pierre Tirilly and Ioan Marius Bilasco},
journal= {arXiv preprint arXiv:2309.12761},
year = {2023}
}