基于 PCA-Net 的算子学习：上下复杂度界
机器学习
2023-10-17 v5 数值分析
数值分析
机器学习
摘要
PCA-Net 是近期提出的一种神经算子架构，它将主成分分析（PCA）与神经网络相结合，以逼近无限维函数空间之间的算子。本文发展了该方法的逼近理论，改进并显著拓展了此前这一方向的研究：首先，在关于底层算子与数据生成分布的极小假设下，推导了一个新的通用逼近结果。随后，我们辨识了使用 PCA-Net 进行高效算子学习的两种潜在障碍，并通过下复杂度界加以精确刻画；其一是输出分布的复杂度，由 PCA 特征值的缓慢衰减度量。另一障碍关乎无限维输入与输出空间之间算子空间的内在复杂度，从而给出了一个严格且可量化的“参数复杂度诅咒”表述——这是高维逼近问题中著名维度诅咒的无限维类比。除这些下界外，我们最终推导了上复杂度界。我们证明了一个适当的光滑性判据可确保 PCA 特征值的代数衰减。此外，我们表明 PCA-Net 能够克服针对感兴趣特定算子的普遍诅咒，这些算子源于 Darcy 流与 Navier-Stokes 方程。
引用
@article{arxiv.2303.16317,
title = {Operator learning with PCA-Net: upper and lower complexity bounds},
author = {Samuel Lanthaler},
journal= {arXiv preprint arXiv:2303.16317},
year = {2023}
}