面向物理基础模型的探索

基础模型通过“一次训练，处处部署”的范式革新了自然语言处理，单个预训练模型无需重新训练即可适应数千个下游任务。获取物理基础模型（Physics Foundation Model, PFM）将是变革性的——它将 democratize 高保真仿真的访问，加速科学发现，消除对专业求解器开发的需求。然而，当前的物理感知机器学习方法仍根本上受限于单一、狭窄的领域，每个新系统都需要重新训练。我们提出了通用物理变换器（General Physics Transformer, GPhyT），其在 1.8 TB 多样化仿真数据上训练，展示了物理基础模型能力是可实现的。我们的关键洞察是，变换器可以从上下文中学习推断支配性动力学，使单个模型能够无需被告知底层方程的情况下模拟流体-固体相互作用、冲击波、热力学对流和多相动力学。GPhyT 实现了三项关键突破：(1) 在多个物理领域中实现卓越性能，超过专用架构 7 倍以上；(2) 通过基于情境的学习，对完全未见过的物理系统实现零样本泛化；(3) 通过长期滚动实现更稳定的长期预测。通过表明单个模型仅凭数据就能学习通用可解释物理原理，本工作为通用 PFM 的实现奠定了基础，这将彻底改变计算科学和工程。