DeepONet 作为多算子外推模型：基于物理信息微调的分布式预训练
机器学习
2024-11-12 v1
摘要
我们提出了一种新颖的微调方法，通过使用多样函数数据训练分布式神经算子实现多算子学习，随后利用物理信息损失对神经网络进行零样本微调以适应下游任务。算子学习能有效逼近偏微分方程（PDE）及各类 PDE 相关问题的解算子，但往往难以泛化到新任务。为解决此问题，我们研究了微调预训练模型，同时精心选择初始化以实现以最少数据快速适应新任务。我们的方法结合分布式学习在预训练中整合来自不同算子的数据，而物理信息方法实现零样本微调，最大程度减少对下游数据的依赖。我们研究了标准微调和低秩适应（LoRA）微调，并将两者应用于训练仅靠随机初始化难以学习的复杂非线性目标算子。通过全面的数值实验，我们展示了该方法的优势，呈现出显著的精度提升。我们的发现为推进多算子学习提供了稳健框架，并凸显了迁移学习技术在该领域的潜力。
引用
@article{arxiv.2411.07239,
title = {DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning},
author = {Zecheng Zhang and Christian Moya and Lu Lu and Guang Lin and Hayden Schaeffer},
journal= {arXiv preprint arXiv:2411.07239},
year = {2024}
}