FMint：连接人工设计与数据预训练模型以构建微分方程基础模型

动力系统的快速模拟是许多科学与工程应用中的关键挑战，如天气预报、疾病控制和药物发现。随着深度学习的近期成功，越来越多的人对使用神经网络以数据驱动方式求解微分方程产生兴趣。然而，现有方法要么局限于特定类型的微分方程，要么需要大量数据进行训练。这限制了它们在许多现实应用中的实用性，因为这些应用中的数据通常稀缺或获取成本高昂。为解决此问题，我们提出了一种名为 \textbf{FMint}（基于初始化的基础模型，\textbf{F}oundation \textbf{M}odel based on \textbf{In}i\textbf{t}ialization）的新型多模态基础模型，以弥合人工设计与数据驱动模型之间的差距，实现动力系统的快速模拟。FMint 建立在带有上下文学习的 decoder-only transformer 架构之上，利用数值和文本数据，使用来自传统求解器的粗解提示序列，学习动力系统的通用误差校正方案。该模型在包含 40K 个 ODE 的语料库上进行了预训练，我们在表现出混沌行为和高维度的挑战性 ODE 上进行了大量实验。结果表明，与经典数值求解器相比，所提模型在准确性和效率方面均具有有效性，突显了 FMint 作为动力系统通用求解器的潜力。我们的方法比 SOTA 动力系统模拟器实现了 1 到 2 个数量级的精度提升，并且比传统数值算法实现了 5 倍的加速。FMint 的代码可在 \url{https://github.com/margotyjx/FMint} 获取。