缓解多尺度算子学习中的谱偏置
机器学习
2024-06-11 v3 人工智能
数值分析
数值分析
摘要
神经算子已成为学习偏微分方程（PDEs）无限维参数空间与解空间之间映射的有力工具。在这项工作中，我们关注具有重要作用应用（如储层建模与湍流预测）的多尺度 PDE。我们证明，对于此类 PDE，朝向低频分量的谱偏置对现有神经算子提出了重大挑战。为应对该挑战，我们提出了一种受分层矩阵方法启发的中等注意力神经算子（HANO）。HANO 具有尺度自适应交互范围及在层次化多级上的自注意力，能够实现具有可控线性成本的嵌套特征计算以及多尺度解空间的编码/解码。我们还引入了经验 损失函数以增强高频分量的学习。我们的数值实验表明，HANO 在代表性多尺度问题上优于最先进（SOTA）方法。
引用
@article{arxiv.2210.10890,
title = {Mitigating spectral bias for the multiscale operator learning},
author = {Xinliang Liu and Bo Xu and Shuhao Cao and Lei Zhang},
journal= {arXiv preprint arXiv:2210.10890},
year = {2024}
}