SMTrack：用于RGB视频多目标跟踪的端到端训练脉冲神经网络
计算机视觉与模式识别
2025-08-21 v1
摘要
受大脑启发的脉冲神经网络（SNN）在低功耗计算方面展现出巨大潜力，然而其在视觉任务中的应用仍主要局限于图像分类、目标检测和基于事件的跟踪。相比之下，现实世界的视觉系统仍然广泛使用传统的RGB视频流，而直接训练的SNN在诸如多目标跟踪（MOT）等复杂时序任务中的潜力仍未得到充分探索。为了应对这一挑战，我们提出了SMTrack——首个用于标准RGB视频端到端多目标跟踪的直接训练深度SNN框架。SMTrack引入了一种自适应且尺度感知的归一化Wasserstein距离损失（Asa-NWDLoss），以改善在不同目标尺度和密度下的检测与定位性能。具体来说，该方法计算每个训练批次内的平均目标大小，并动态调整归一化因子，从而增强对小目标的敏感度。对于关联阶段，我们引入了TrackTrack身份模块，以维持稳健且一致的目标轨迹。在BEE24、MOT17、MOT20和DanceTrack上的广泛评估表明，SMTrack的性能与领先的基于ANN的MOT方法相当，推动了在复杂场景下基于SNN的鲁棒且准确跟踪技术的发展。
引用
@article{arxiv.2508.14607,
title = {SMTrack: End-to-End Trained Spiking Neural Networks for Multi-Object Tracking in RGB Videos},
author = {Pengzhi Zhong and Xinzhe Wang and Dan Zeng and Qihua Zhou and Feixiang He and Shuiwang Li},
journal= {arXiv preprint arXiv:2508.14607},
year = {2025}
}