MK-SGN：一种结合多模态融合与知识蒸馏的脉冲图卷积网络用于基于骨架的动作识别
计算机视觉与模式识别
2025-11-20 v5
摘要
近年来，多模态图卷积网络（GCN）在基于骨架的动作识别中取得了显著性能。基于GCN的方法所固有的高能耗连续浮点运算依赖对在能量受限的电池驱动边缘设备上的部署构成了重大挑战。为了解决这些限制，提出了MK-SGN，一种结合多模态融合与知识蒸馏的脉冲图卷积网络，首次利用脉冲神经网络（SNN）的能效进行基于骨架的动作识别。通过整合SNN的节能特性与GCN的图表示能力，MK-SGN在保持竞争性识别精度的同时实现了显著的能耗降低。首先，我们设计了一个脉冲多模态融合（SMF）模块，以有效融合表示为脉冲形式特征的多模态骨架数据。其次，我们提出了自注意力脉冲图卷积（SA-SGC）模块和脉冲时间卷积（STC）模块，以捕获脉冲形式特征的空间关系和时间动态。最后，我们提出了一种集成的知识蒸馏策略，将信息从多模态GCN转移到SGN，结合中间层蒸馏和软标签蒸馏以增强SGN的性能。MK-SGN展现出显著优势，在能效方面超越最先进的GCN框架，在识别精度方面超越最先进的SNN框架。所提出的方法实现了显著的能耗降低，与传统的基于GCN的方法相比超过98%。这项研究为开发基于SNN的高性能、高能效的骨架动作识别模型建立了稳健的基线。
引用
@article{arxiv.2404.10210,
title = {MK-SGN: A Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation for Skeleton-based Action Recognition},
author = {Naichuan Zheng and Hailun Xia and Zeyu Liang and Yuchen Du},
journal= {arXiv preprint arXiv:2404.10210},
year = {2025}
}