Kirin：通过 SNN 混合化提高 ANN 效率
机器学习
2026-02-10 v1
摘要
人工神经网络（ANN），特别是大型语言模型（LLM），在推理能力方面表现出强大能力，但消耗大量能源。相比之下，脉冲神经网络（SNN）因其二元化和事件驱动特性，具有卓越的能源效率，这激励了 ANN 到 SNN 的转换。在此过程中，量化发挥关键作用，将 LLM 的浮点参数映射到离散 SNN 参数，通过时间窗口的时间维度实现。然而，转换过程中仍存在若干挑战：（i）将高位宽量化值转换为二进制脉冲需要更长的时间窗口，从而增加系统延迟；（ii）单脉冲方案信息损失与多脉冲方案能源成本之间固有的权衡。为解决这些挑战，我们提出 Kirin，一种基于整数和脉冲混合的 SNN，以实现在时间和能源效率方面的无损 ANN 到 SNN 转换。具体而言，我们首先提出了脉冲矩阵混合策略，将导致小时间窗口大小的低位宽参数编码为二进制脉冲，同时保留其余部分为整数格式，从而降低 SNN 执行的总体延迟。其次，我们引入静默阈值机制来调节单脉冲触发的时机，确保输出在数学上等价于 LLM 的输出，同时保持准确性。实验结果表明，在 W4A4&8 量化设置下，Kirin 达到了接近 FP16 的准确度，同时将能源消耗降低最高可达 84.66%，时间步长缩短最高可达 93.75%。
引用
@article{arxiv.2602.08817,
title = {Kirin: Improving ANN efficiency with SNN Hybridization},
author = {Chenyu Wang and Zhanglu Yan and Zhi Zhou and Xu Chen and Weng-Fai Wong},
journal= {arXiv preprint arXiv:2602.08817},
year = {2026}
}