从复杂动力学到 DynFormer：重新思考偏微分方程的 Transformer
机器学习
2026-03-04 v1 人工智能
混沌动力学
摘要
偏微分方程（PDEs）是建模复杂物理系统的基石，但经典数值求解器在高维和多尺度场景下面临计算成本的严峻挑战。虽然 Transformer-based 神经算子已涌现为强大的数据驱动替代方案，但它们通常将所有离散化空间点视为均匀、独立的 token，采用单一注意力机制。这种单一化方法忽略了物理场固有的尺度分离，导致计算成本高昂的全局注意力冗余地混合了平滑的大尺度动力学与高频波动。我们从复杂动力学的视角重新思考 Transformer，提出 DynFormer—a 基于动力学信息的新型神经算子。DynFormer 明确将专门的网络模块分配给不同的物理尺度。它利用谱嵌入隔离低频模式，实现 Kronecker 结构注意力机制高效捕获大尺度全局相互作用；同时引入 Local-Global-Mixing 转换模块，利用非线性乘性频率混合在不 incur 全局注意力成本的情况下，隐式重构由宏观状态所支配的小尺度、快速变化的湍流级联。将这些模块集成到混合进化架构中，确保了长期时间稳定性。在四个 PDE 基准测试中进行大规模内存对齐评估显示，DynFormer 在相对误差上较当前沿方法实现了最高达95%的降低，同时显著降低 GPU 内存消耗。我们的结果表明，将一阶物理动力学嵌入 Transformer 架构，构建出高度可扩展、理论依据严密的 PDE 代理建模蓝图。
引用
@article{arxiv.2603.03112,
title = {From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs},
author = {Pengyu Lai and Yixiao Chen and Dewu Yang and Rui Wang and Feng Wang and Hui Xu},
journal= {arXiv preprint arXiv:2603.03112},
year = {2026}
}