Signal-SGN++: 基于拓扑的时频脉冲图网络用于骨架基准动作识别
计算机视觉与模式识别
2025-12-30 v1 人工智能
摘要
图卷积网络（GCN）在建模骨架拓扑结构方面展现出强大的动作识别能力，但其稠密浮点运算带来高能耗。脉冲神经网络（SNN）因其事件驱动和稀疏激活特性，具有能效优势，但在捕获人类运动的时频耦合与拓扑依赖方面仍受限。为填补这一鸿沟，本文提出了 Signal-SGN++，一种具备结构适应性与时频脉冲动力学的拓扑感知脉冲图框架。该网络采用由 1D 脉冲图卷积（1D-SGC）和频率脉冲卷积（FSC）构成的主干网络，用于联合提取时空特征和谱特征。在该主干网络内部，嵌入拓扑位移自注意力（TSSA）机制，以学习的骨架拓扑结构中自适应路由注意力，提升图层敏感性而不增加计算复杂度。此外，还引入一个辅助的多尺度小波变换融合（MWTF）分支，将脉冲特征分解为多分辨率时频表示，其中包含结构先验的拓扑感知时频融合（TATF）单元。对大规模基准的全面实验验证表明，Signal-SGN++ 在准确率与能效之间的权衡方面表现优异，超越现有基于 SNN 的方法，并在显著降低能耗的同时，与最新的 GCN 方法保持竞争力。
引用
@article{arxiv.2512.22214,
title = {Signal-SGN++: Topology-Enhanced Time-Frequency Spiking Graph Network for Skeleton-Based Action Recognition},
author = {Naichuan Zheng and Xiahai Lun and Weiyi Li and Yuchen Du},
journal= {arXiv preprint arXiv:2512.22214},
year = {2025}
}