Panda：用于混沌动力学的预训练预测模型
机器学习
2026-03-12 v3 神经与进化计算
混沌动力学
机器学习
摘要
混沌系统对微小误差极其敏感，这对构建实时动力学系统（如流体流动或神经活动）的预测数据驱动模型提出了挑战。先前的工作要么是针对单个时间序列训练的专用模型，要么是针对大规模时间序列数据库训练的基础模型，缺乏底层动力学结构。我们受动力学系统理论的启发，提出了 Panda，即 Patched Attention for Nonlinear DynAmics。我们使用我们通过进化算法发现的 2 万个混沌动力学系统构成的新型可扩展合成数据集对 Panda 进行训练。虽然仅在模拟数据上进行训练，Panda 仍展现出若干涌现特性：零样本预测未见的混沌系统，既保留短期精度又保留分布特征，注意力头中呈现非线性共振模式，能够有效预测真实实验时间序列。尽管仅训练于低维常微分方程，Panda 仍自主发展出预测偏微分方程的能力，无需重新训练。我们还展示了微分方程的神经比例定律，凸显了预训练模型在探索此类非线性动力学领域的潜力。
引用
@article{arxiv.2505.13755,
title = {Panda: A pretrained forecast model for chaotic dynamics},
author = {Jeffrey Lai and Anthony Bao and William Gilpin},
journal= {arXiv preprint arXiv:2505.13755},
year = {2026}
}