智能神经网络：从分层架构到图组织的智能

生物神经元 exhibits 令人惊叹的智能：它们维护内部状态、 selectively 与其他神经元通信，并自组织成复杂图而非僵化的层级结构。如果人工智能能类似地从智能计算单元中发展而来会怎样？我们提出了智能神经网络（Intelligent Neural Networks, INN），这是一种范式转变，其中神经元作为具有内部记忆和已学习通信模式的头等公民，组织成完整图而非顺序层。每个智能神经元将选择性状态空间动力学（知道何时激活）与注意力机制路由（知道向谁发送信号）耦合，从而通过图结构相互作用实现涌现计算。在标准 Text8 字符建模基准上，INN 实现了 1.705 比特/字符（BPC），显著优于相当于的 Transformer（2.055 BPC）并匹配高度优化的 LSTM 基线。关键的是，参数匹配的堆叠 Mamba 块基线在相同训练协议下无法收敛（>3.4 BPC），表明 INN 的图拓扑结构对于训练稳定性至关重要。消融研究进一步证明：移除神经间通信会降低性能或导致不稳定，证明了已学习神经路由的价值。这一工作表明，神经元中心的设计与图组织不仅是受生物启发的——它在计算上是有效的，为模块化、可解释和可扩展神经网络架构开辟了新方向。