插即式脉冲算子：打破脉冲变换器中非线性瓶颈

ANN-to-SNN转换提供了一条实用且无需训练的脉冲大语言模型路径。然而，当前管道主要聚焦于脉冲驱动的Transformer线性代数运算，对于关键非线性算子支持有限。这一差距限制了与神经形态执行约束的兼容性，其中此类非线性通常需要除法、指数或范数计算，而标准leakily integrate-and-fire动力学学术上不自然支持。为解决此问题，我们提出了一个插即式框架，用于实现Transformer非线性算子的脉冲友好近似，并集成到现有ANN-to-SNN管道中。该方法将这些非线性计算分解为三个重复出现的基本原语——除法、指数和L2范数——通过LIF神经元群实现，结合轻量级位移缩放以避免浮点运算。通过将这些原语组合为模块化算子块，本框架支持常见的Transformer非线性（如Softmax、SiLU和归一化），无需任何微调。在多种LLM Transformer模型上进行的实验表明，针对性替换目标非线性算子在所有评估任务中均仅引发小于1%的准确率下降。