SPUS：用于偏微分方程的轻量级与参数高效基础模型
计算机视觉与模式识别
2025-10-03 v1 人工智能
机器学习
计算物理
摘要
我们提出了小偏微分方程 U-Net 求解器（SPUS），一种紧凑且高效的基础模型（FM），设计为用于求解广泛偏微分方程（PDE）的统一神经算子。与现有最先进的 PDE 基础模型——主要基于具有高计算和参数开销的大型复杂Transformer架构——不同，SPUS 采用一种轻量级残差 U-Net 架构，该架构在此领域作为基础模型架构尚未被充分探索。为在这一极简框架中实现有效学习，我们采用了一种简单而强大的自回归预训练策略，该策略紧密复制数值求解器的行为以学习底层物理。SPUS 在一组多样的流体动力学 PDE 上进行预训练，并在 6 个具有挑战性的未见下游 PDE 上进行评估，涵盖各种物理系统。实验结果表明，采用残差 U-Net 架构的 SPUS 在这些下游任务上达到了最先进的泛化能力，同时需要显著更少的参数和极少的微调数据，突显了其作为求解多样 PDE 系统的高度参数高效 FM 的潜力。
引用
@article{arxiv.2510.01370,
title = {SPUS: A Lightweight and Parameter-Efficient Foundation Model for PDEs},
author = {Abu Bucker Siddik and Diane Oyen and Alexander Most and Michal Kucer and Ayan Biswas},
journal= {arXiv preprint arXiv:2510.01370},
year = {2025}
}