在低维度预训练神经算子
机器学习
2024-11-21 v2
摘要
近期越来越多地关注开发基础性神经偏微分方程(PDE)求解器和神经算子。然而，与利用大量廉价（无标签）数据的视觉和语言模型不同，这些神经求解器通常依赖于模拟的PDE数据，而对于高维PDE来说，这些数据获取成本较高。本文旨在在较低维度的PDE上预训练神经PDE求解器(PreLowD)，在数据获取成本最低的维度上进行预训练。我们评估了这种预训练策略在类似更高维度PDE中的有效性。我们采用因子分解傅里叶神经算子(FFNO)，因为其具有将其应用于任意空间维度的PDE数据并重用训练参数的必要灵活性。此外，本文阐明了精调配置对充分利用这种预训练策略的影响。代码已公开于https://github.com/BaratiLab/PreLowD。
引用
@article{arxiv.2407.17616,
title = {Pretraining a Neural Operator in Lower Dimensions},
author = {AmirPouya Hemmasian and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2407.17616},
year = {2024}
}