多位元机制：脉冲神经网络的信息传输新范式
神经与进化计算
2024-07-09 v1 人工智能
摘要
自提出以来，脉冲神经网络（SNNs）因其高性能、低功耗和增强的生物可解释性而受到广泛关注。然而，脉冲的二元性质也导致信息损失，最终导致性能下降。我们认为，当前二元脉冲的表达能力受限是这些挑战的根本原因。为缓解这一问题，我们的研究引入了面向 SNNs 的多位元信息传输机制。该机制将脉冲神经元的输出从原始的单位元扩展到多位元，增强了脉冲的表达能力，减少了前向过程中的信息损失，同时仍保持 SNNs 的低能耗优势。对于 SNNs 而言，这代表了一种新的信息传输范式。此外，为进一步利用有限的脉冲，我们从前一层提取有效信号以重新刺激神经元，从而鼓励在各种位数级别下完全脉冲发射。我们采用直接训练方法和 ANN-SNN 转换方法进行了大量实验，结果显示方法始终能够带来性能提升。
关键词
引用
@article{arxiv.2407.05739,
title = {Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks},
author = {Yongjun Xiao and Xianlong Tian and Yongqi Ding and Pei He and Mengmeng Jing and Lin Zuo},
journal= {arXiv preprint arXiv:2407.05739},
year = {2024}
}
备注
Under review