UPS：通过跨模态适配高效构建用于 PDE 求解的基础模型
机器学习
2024-11-26 v4
摘要
我们提出了统一 PDE 求解器（UPS），这是一种数据高效且计算高效的方法，用于为来自不同领域、维度和分辨率的多种时空 PDE 族开发统一神经算子。UPS 将不同的 PDE 嵌入到共享表示空间中，并使用 FNO-transformer 架构进行处理。我们并非从头开始训练网络（这需要大量数据且计算昂贵），而是利用预训练的大语言模型（LLMs）对 transformer 进行热启动，并执行显式对齐以减小模态差距，同时提高数据和计算效率。跨模态 UPS 在 PDEBench 的广泛 1D 和 2D PDE 族上取得了最先进（SOTA）的结果，其使用的数据量比现有统一模型少 4 倍，计算量少 26 倍。同时，它具备向未见过的 PDE 族和系数进行少样本迁移的能力。
引用
@article{arxiv.2403.07187,
title = {UPS: Efficiently Building Foundation Models for PDE Solving via Cross-Modal Adaptation},
author = {Junhong Shen and Tanya Marwah and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2403.07187},
year = {2024}
}
备注
TMLR 2024; ICML 2024 AI for Science Workshop (Spotlight)