时序偏微分方程的LDR（Latent Neural Operator）预训练方法
机器学习
2024-11-28 v2 数值分析
数值分析
摘要
近年来，预训练方法日益受到关注，用于通过在由多种偏微分方程组成的大规模数据集上训练来求解偏微分方程（PDE），这有助于缓解神经算子学习在求解单个PDE时遇到的数据稀缺问题，并利用不同PDE之间的共享模式提高解的精度。本文提出了基于LDR神经算子（Latent Neural Operator，LNO）骨架的LDR预训练（Latent Neural Operator Pretraining，LNOP）框架。通过在混合时序偏微分方程数据集上进行预训练来提取不同物理系统的表示，并通过在单个PDE数据集上进行微调来求解潜在空间中的各种时序偏微分方程。我们提出的LNOP框架在四个问题上将解的误差降低31.7%，在微调后可进一步提高到57.1%。在超出分布的数据集上，LNOP模型在不同数据集大小下平均实现约50%的误差降低和3倍的数据效率。这些结果表明，我们的方法在解的精度、迁移能力和数据效率方面均优于非预训练的神经算子。
引用
@article{arxiv.2410.20100,
title = {Latent Neural Operator Pretraining for Solving Time-Dependent PDEs},
author = {Tian Wang and Chuang Wang},
journal= {arXiv preprint arXiv:2410.20100},
year = {2024}
}