面向高效神经表征的神经群通信

现代神经网络规模的不断增大带来了前所未有的性能优势，同时也带来了效率和可解释性方面的巨大挑战。本文旨在解决如何构建能够学习高效、模块化和可解释表征的大型神经系统的问题。我们提出了神经群通信（Neuronal Group Communication, NGC）框架，该框架从理论驱动的角度重新构想神经网络，将其视为相互作用神经群的动力系统，而非单一的神经权重集合。与此不同，NGC 将权重视为神经状态之间瞬时相互作用，而非独立的可训练参数。神经计算通过神经群之间迭代通信的过程展开。在这种低秩、模块化表征下，神经群之间交换低维信号，从而实现内部群体内的专业化和群间信息共享，同时大幅降低冗余参数。通过动力系统理论，NGC 引入了神经稳定性度量（类似于 Lyapunov 稳定性），用于量化神经激活在序列处理过程中向稳定模式收敛的程度。利用该度量，我们揭示了涌现推理能力对应于一个外部驱动力或“势”，该势会在保持稳定性的同时将神经动力学从平凡轨迹中推开。经验上，我们在大型语言模型（LLMs）中实现了 NGC，并在复杂推理基准测试中展现出在适度压缩率下的性能提升。NGC 在相当相同的压缩率下持续优于标准低秩近似和跨层基共享方法。我们最后讨论了 NGC 的更广泛意义，包括结构化神经群动力学如何关系到高维学习系统中的泛化。