Signal-SGN：基于学习时频动力学的脉冲图卷积网络用于骨骼动作识别
计算机视觉与模式识别
2025-10-31 v6
摘要
对于多模态骨骼基于动作的识别，图卷积网络（GCN）是有效模型。然而，它们依赖浮点计算，导致能源消耗高，限制了在电池供电设备上的应用。虽然能效高，但脉冲神经网络（SNN）在建模骨骼动力学方面存在挑战，导致解决方案不佳。我们提出了Signal-SGN（Spiking Graph Convolutional Network），其利用骨骼序列的时间维度作为脉冲时间步，并将特征表示为多维离散随机信号，以进行时频域特征提取。它结合了1维脉冲图卷积（1D-SGC）模块和频率脉冲卷积（FSC）模块，以从以脉冲形式表示的骨骼中提取特征。此外，还提出了多尺度小波变换特征融合（MWTF）模块，用于提取动态脉冲特征并捕获频率特定特征，增强分类性能。在三个大型数据集上的实验表明，Signal-SGN在准确率和计算效率方面均超过了最新的SNN-based方法，同时以接近GCN方法的性能显著降低了理论能耗。
引用
@article{arxiv.2408.01701,
title = {Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics},
author = {Naichuan Zheng and Yuchen Du and Hailun Xia and Zeyu Liang},
journal= {arXiv preprint arXiv:2408.01701},
year = {2025}
}