动作识别中的火焰：针对高效脉冲动作识别优化视频带宽
计算机视觉与模式识别
2026-02-02 v1 人工智能
摘要
脉冲神经网络（SNN）因其能效、生物学可信度以及内在时序处理能力而在视觉领域受到关注。然而，尽管具备时序能力，SNN 的进展仍主要集中在静态图像基准测试，SNN 在动态视频任务上仍不及人工神经网络（ANN）。本文诊断出根本性的带宽失配：标准脉冲动力学表现为时序低通滤波，强化静态内容同时抑制承载运动的频段，而动态任务中信息集中于这些频段。这一现象解释了 SNN 在静态任务上可接近 ANN 而在需更丰富时序理解的任务中落后的原因。为此，本文提出 Pass-Bands Optimizer（PBO），一个即插即用的模块，将时序带宽优化至任务相关的运动频段。PBO 仅引入两个可学习参数，以及一种轻量级一致性约束，既保留语义又保持边界，计算开销可忽略且无需架构修改。PBO 有意抑制对判别贡献有限的静态成分，实现对流的高通滤波，使脉冲活动集中于承载运动的内容。在 UCF101 上，PBO 取得百分之几点的显著提升。在更复杂的多模态动作识别和弱监督视频异常检测任务中，PBO 也实现了稳定显著的性能提升，为 SNN 基于的视频处理与理解提供了新的视角。
引用
@article{arxiv.2601.22675,
title = {Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition},
author = {Shuhan Ye and Yuanbin Qian and Yi Yu and Chong Wang and Yuqi Xie and Jiazhen Xu and Kun Wang and Xudong Jiang},
journal= {arXiv preprint arXiv:2601.22675},
year = {2026}
}