LM-HT SNN:通过可学习多层级阈值模型增强 SNN 至 ANN 对应模型的性能
神经与进化计算
2024-10-10 v2 人工智能
计算机视觉与模式识别
摘要
与传统的人工神经网络(ANN)相比,脉冲神经网络(SNN)因其以更节能的方式传输信息的固有能力而引起了广泛的学术兴趣。然而,尽管之前通过多种方法努力优化 SNN 的学习算法,SNN 在性能上仍落后于 ANN。最近提出的多阈值模型为进一步增强 SNN 的学习能力提供了更多可能。本文从数学角度严格分析了多阈值模型、普通脉冲模型和量化 ANN 之间的关系,随后提出了一种新颖的 LM-HT 模型,这是一种能够在时间维度上动态调节全局输入电流和膜电位泄漏的等距多阈值模型。LM-HT 模型还可以通过重参数化转换为普通的单阈值模型,从而实现更灵活的硬件部署。此外,我们注意到 LM-HT 模型在特定初始化下可与 ANN-SNN 转换框架无缝集成。这种新颖的混合学习框架能有效改善转换后的 SNN 在低时间延迟下相对较差的性能。大量实验结果表明,我们的模型在各种类型的数据集上均优于之前的最先进工作,推动 SNN 达到了与量化 ANN 相当的全新性能水平。代码可在 https://github.com/hzc1208/LMHT_SNN 获取。
引用
@article{arxiv.2402.00411,
title = {LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model},
author = {Zecheng Hao and Xinyu Shi and Yujia Liu and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2402.00411},
year = {2024}
}
备注
Accepted to NeurIPS 2024