显式算子解释用于序列和语言建模的现代神经网络中的端到端计算
神经与进化计算
2026-04-23 v1 机器学习
适应与自组织系统
摘要
我们在状态空间模型（一种用于捕获数据中长程依赖的最先进架构）与一个精确可解的非线性振荡器网络之间建立了一种数学对应关系。作为这种一般对应关系的一个具体例子，我们分析了结构化状态空间序列模型（S4）的对角线性时不变实现。这种对应关系将S4D（S4的一种具体实现）嵌入到一个环形网络拓扑中，在该拓扑中，最近的输入被编码为在网络的一维空间布局上传播的活动波。然后，我们推导出S4D完整前向传播的精确算子表达式，从而得到其完整输入-输出映射的解析表征。该表达式揭示了系统中的非线性解码器引发了这些携带信息的波之间的相互作用，从而能够对真实世界序列进行分类。这些结果可以推广到现代SSM架构，并表明它们允许一个具有清晰物理解释的精确数学描述。这些见解为从非线性振荡器网络的角度理解这些系统提供了新的可解释性水平。
引用
@article{arxiv.2604.20595,
title = {An explicit operator explains end-to-end computation in the modern neural networks used for sequence and language modeling},
author = {Anif N. Shikder and Ramit Dey and Sayantan Auddy and Luisa Liboni and Alexandra N. Busch and Arthur Powanwe and Ján Mináč and Roberto C. Budzinski and Lyle E. Muller},
journal= {arXiv preprint arXiv:2604.20595},
year = {2026}
}