用于脉冲神经网络的时间对比学习
计算机视觉与模式识别
2023-05-24 v1
摘要
受生物启发的脉冲神经网络（SNNs）因其低能耗与时空信息处理能力而备受关注。现有多数 SNNs 训练方法先跨时间步积分输出信息，再采用交叉熵（CE）损失监督平均表示的预测。然而，本工作中我们发现上述方法对 SNNs 训练并不理想，因其忽略 SNNs 的时间动态，且随推理时间步减少性能迅速退化。一种建模时间相关性的直观方法是在每个时间步施加相同标签监督并等同对待。尽管其能在不同时间步获得相对一致的性能，仍面临获取高性能 SNNs 的挑战。受这些观察启发，我们提出时间域监督对比学习（TCL）框架，一种通过将对比监督与时间域信息结合来获取低延迟高性能 SNNs 的新方法。对比学习（CL）促使网络在表示空间中辨别一致性与差异性，使其更好地学习判别性与可泛化特征。我们将此概念扩展至 SNNs 的时间域，从而灵活且充分地利用不同时间步表示间的相关性。此外，我们提出孪生时间域监督对比学习（STCL）框架，通过增强、时间与类别约束同时提升 SNNs。广泛的实验结果表明，由我们的 TCL 与 STCL 训练的 SNNs 可同时实现高性能与低延迟，在多种数据集（如 CIFAR-10、CIFAR-100 与 DVS-CIFAR10）上取得最先进性能。
引用
@article{arxiv.2305.13909,
title = {Temporal Contrastive Learning for Spiking Neural Networks},
author = {Haonan Qiu and Zeyin Song and Yanqi Chen and Munan Ning and Wei Fang and Tao Sun and Zhengyu Ma and Li Yuan and Yonghong Tian},
journal= {arXiv preprint arXiv:2305.13909},
year = {2023}
}