OmniArch：构建科学计算基础模型
机器学习
2025-05-30 v3 人工智能
摘要
基础模型已彻底改变了语言建模，但这种成功是否能在科学计算中重演仍有待探索。我们提出了 OmniArch，这是首个旨在通过物理对齐解决多尺度和多物理场科学计算问题的原型。我们通过一个统一的架构解决了所有三个挑战。其预训练阶段包含一个傅里叶 Encoder-decoder，用于消除分离维度间的不协调，以及一个通过时间动态整合量的 Transformer 主干网络，而新颖的 PDE-Aligner 则在灵活条件下执行物理信息微调。据我们所知，我们首次在 PDEBench 上进行了 1D-2D-3D 联合预训练，这不仅为 1D、2D 和 3D 偏微分方程 (PDEs) 设定了新的性能基准，还通过上下文学习和零样本学习方法展示了对新物理场的卓越适应性，从而支持现实工程应用和前瞻性物理发现。
引用
@article{arxiv.2402.16014,
title = {OmniArch: Building Foundation Model For Scientific Computing},
author = {Tianyu Chen and Haoyi Zhou and Ying Li and Hao Wang and Chonghan Gao and Rongye Shi and Shanghang Zhang and Jianxin Li},
journal= {arXiv preprint arXiv:2402.16014},
year = {2025}
}
备注
ICML 2025