为科学基础模型铺路：通过约束感知预训练提升偏微分方程的泛化性与鲁棒性
机器学习
2025-03-26 v1
摘要
偏微分方程（PDEs）支配着广泛的物理系统，但高效求解仍是重大挑战。科学基础模型（SciFM）作为一种在不同领域之间学习可迁移表示的有前景的工具正逐渐兴起。然而，SciFM需要大量的解数据，而这些数据可能稀缺或难以计算生成。为最大化泛化性同时减少数据依赖性，我们提出将PDE残差纳入预训练，作为唯一的学习信号或与数据损失组合，以弥补训练数据有限或不可行的局限。我们在三个关键基准上评估了这种约束感知预训练：（i）对新物理的泛化，其中材料属性（如扩散系数）相对于训练分布发生偏移；（ii）对全新偏微分方程的泛化，需要适应不同的算子；（iii）对带噪声微调数据的鲁棒性，确保在实际应用中的稳定性。我们的结果表明，采用PDE约束进行预训练显著提升了泛化性，在所有基准上均优于仅使用解数据训练的模型。这些发现证明了我们提出的约束感知预训练作为SciFM关键组成部分的有效性，提供了一种数据高效、具泛化性的偏微分方程求解器的可扩展方法。
引用
@article{arxiv.2503.19081,
title = {Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training},
author = {Amin Totounferoush and Serge Kotchourko and Michael W. Mahoney and Steffen Staab},
journal= {arXiv preprint arXiv:2503.19081},
year = {2025}
}
备注
pre-print, 31 pages