求解大规模偏微分方程的神经算子增量式空间与频谱学习
机器学习
2024-03-06 v4
摘要
傅里叶神经算子（FNO）为求解诸如湍流等具有挑战性的偏微分方程（PDE）提供了一种原理性的方法。FNO的核心是一个谱层，该层利用傅里叶域中离散化收敛的表示，并在一组固定的频率上学习权重。然而，训练FNO面临两个重大挑战，特别是在大规模、高分辨率的应用中：(i) 在高分辨率输入上计算傅里叶变换计算量很大，但由于求解许多偏微分方程（如流体流动）需要精细尺度的细节，这一步又是必需的；(ii) 在谱层中选择相关的频率集具有挑战性，过多的模态可能导致过拟合，而过少则可能导致欠拟合。为了解决这些问题，我们引入了增量式傅里叶神经算子（iFNO），它逐步增加模型使用的频率模态数量以及训练数据的分辨率。我们通过实验表明，iFNO减少了总训练时间，同时在各种数据集上保持或提高了泛化性能。与现有的傅里叶神经算子相比，我们的方法在使用减少20%频率模态的情况下，测试误差降低了10%，同时训练速度提高了30%。
引用
@article{arxiv.2211.15188,
title = {Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs},
author = {Robert Joseph George and Jiawei Zhao and Jean Kossaifi and Zongyi Li and Anima Anandkumar},
journal= {arXiv preprint arXiv:2211.15188},
year = {2024}
}