重新思考预训练：作为从人工神经网络到脉冲神经网络的桥梁
神经与进化计算
2022-03-07 v3 机器学习
摘要
脉冲神经网络（SNNs）因其丰富的神经元动力学、多样的编码方案和低功耗特性而被视为一类典型的脑启发模型。如何获得高精度模型一直是 SNN 领域的主要挑战。目前主要有两种主流方法：将训练好的人工神经网络（ANN）转换为对应的 SNN，或直接训练 SNN。然而，转换得到的 SNN 推理时间过长，而 SNN 训练通常代价高昂且效率低下。本文结合两种不同训练方法的思想，借助预训练（pretrain）技术与基于反向传播（BP）的深度 SNN 训练机制，提出了一种新的 SNN 训练范式。我们认为所提出的范式是一种更高效的 SNN 训练流程。该流程包括用于静态数据传输任务的 pipeS 和用于动态数据传输任务的 pipeD。在大规模事件驱动数据集 ES-ImageNet 上取得了 SOTA 结果。在训练加速方面，我们在 ImageNet-1K 上以 1/10 的训练时间、在 ES-ImageNet 上以 2/5 的训练时间达到了与同类 LIF-SNNs 相当（或更高）的最佳精度，并为新数据集 ES-UCF101 提供了时间-精度基准。这些实验结果揭示了 ANN 与 SNN 之间参数功能的相似性，也展示了该 SNN 训练流程的多种潜在应用。
引用
@article{arxiv.2203.01158,
title = {Rethinking Pretraining as a Bridge from ANNs to SNNs},
author = {Yihan Lin and Yifan Hu and Shijie Ma and Guoqi Li and Dongjie Yu},
journal= {arXiv preprint arXiv:2203.01158},
year = {2022}
}
备注
8 pages, 4 figures