面向物理代理模型的多物理预训练
机器学习
2024-12-12 v2 人工智能
机器学习
摘要
我们提出多物理预训练（MPP），一种用于时空系统物理代理建模的、基于 transformer 的自回归任务无关预训练方法。在 MPP 中，我们不是在特定物理系统上训练一个模型，而是训练一个骨干模型同时预测多个异构物理系统的动力学，以学习跨系统广泛有用的特征并促进迁移。为在此设定下有效学习，我们引入了一种共享嵌入与归一化策略，将多个系统的场投影到共享嵌入空间中。我们在一个广泛的流体力学导向基准上验证了该方法在预训练和下游任务上的有效性。我们表明，单个 MPP 预训练的 transformer 无需微调即可在所有预训练子任务上匹配或超越特定任务的基线。对于下游任务，我们证明微调 MPP 训练的模型，相较于从头训练或微调预训练的视频基础模型，能在具有先前未见物理组件或更高维系统的系统上实现更准确的多时间步预测。我们开源了代码及多种规模训练的模型权重以保证可复现性。
引用
@article{arxiv.2310.02994,
title = {Multiple Physics Pretraining for Physical Surrogate Models},
author = {Michael McCabe and Bruno Régaldo-Saint Blancard and Liam Holden Parker and Ruben Ohana and Miles Cranmer and Alberto Bietti and Michael Eickenberg and Siavash Golkar and Geraud Krawezik and Francois Lanusse and Mariel Pettee and Tiberiu Tesileanu and Kyunghyun Cho and Shirley Ho},
journal= {arXiv preprint arXiv:2310.02994},
year = {2024}
}