物理变换器

数字 AI 系统横跨大型语言模型、视觉模型和生成式架构，这些系统主要 operate in symbolic、linguistic 或像素域，取得了显著的进展，但几乎所有进展都存在于虚拟空间中。这些系统变换嵌入和标记，却从不触及世界，很少 admits physical interpretation。本 work 提出一种物理变换器，将现代变换器风格计算与几何表示和物理动力学耦合。 在微观层面，注意力头和前馈块被建模为由有效哈密顿量加上非哈密顿浴项控制的相互作用自旋。在中观层面，它们的聚合状态在学习的神经微分流形（NDM）上演化，受哈密顿流和 Hamilton、Jacobi、Bellman（HJB）最优控制的驱动，离散化为约等于保持几何和能量不变的符号层。在宏观层面，该模型维护一个生成式语义工作空间和一个二维信息相位图，后者跟踪推理轨迹上的不确定性和信息增益。在该层次结构中，将推理任务表述为流形上的受控信息流，解决方案对应于满足几何、能量和工作空间一致性约束的低成本轨迹。在涉及数值积分和动力系统的简单 toy 问题上，物理变换器在稳定性和长期准确性方面优于天真基线，凸显了尊重底层几何和哈密顿结构的优势。更广泛地说，该框架指向了一种将数字推理与物理驱动的流形统一的路径，为实现更具可解释性和潜在统一的推理、控制和与现实世界互动的模型打开了 route。