可分离神经网络架构作为统一的预测与生成智能原语
机器学习
2026-03-17 v2 人工智能
摘要
物理、语言和感知领域的智能系统往往表现出可分离的结构，然而通常由单一的神经网络架构来建模，这些架构并未显式利用这一结构。可分离神经网络架构（SNA）通过形式化一种统一的加法、二次和张量分解神经模型的表示类来解决这一问题。通过约束互作用阶数和张量秩，SNA 在高维映射分解为低阶组件方面施加了结构归纳偏置。可分离性不必是系统本身的属性：它往往通过系统所采用的坐标或表示而显现。关键的是，这种坐标感知的表述揭示了混沌时空动力学与语言自回归之间的结构类比。通过将连续物理状态视为光滑的可分离嵌入，SNA 能够对混沌系统进行分布式建模。该方法在保持确定性算子不符合物理特性的同时，适用于离散序列。本方法的组合性优势在四个领域得到验证：通过强化学习实现自主路径点导航、逆向生成多功能微结构、分布式建模湍流以及神经语言建模。这些结果表明，可分离神经网络架构是一种面向预测与生成智能的、无域限制的原语，能够统一确定性和分布式表示。
引用
@article{arxiv.2603.12244,
title = {Separable neural architectures as a primitive for unified predictive and generative intelligence},
author = {Reza T. Batley and Apurba Sarker and Rajib Mostakim and Andrew Klichine and Sourav Saha},
journal= {arXiv preprint arXiv:2603.12244},
year = {2026}
}