通过 Krylov 子空间回收加速神经算子的数据生成
机器学习
2024-03-20 v2 人工智能
数值分析
数值分析
摘要
学习用于求解偏微分方程（PDE）的神经算子因其高推理效率而备受关注。然而，训练此类算子需要生成大量标记数据，即 PDE 问题及其解。数据生成过程极其耗时，因为它涉及求解大量线性方程组以获得 PDE 的数值解。许多现有方法独立求解这些系统而未考虑其内在相似性，导致计算极度冗余。为解决这一问题，我们提出了一种名为排序 Krylov 回收（SKR）的新方法，以提高求解这些系统的效率，从而显著加速神经算子训练的数据生成。据我们所知，SKR 是首次尝试解决学习神经算子数据生成耗时性质的方法。SKR 的核心工作是 Krylov 子空间回收，这是一种利用内在相似性求解一系列相关系统的强大技术。具体而言，SKR 采用排序算法将这些系统排列成一个序列，其中相邻系统表现出高度相似性。然后，它配备具有 Krylov 子空间回收功能的求解器，按顺序而非独立地求解这些系统，从而有效提高求解效率。理论分析和大量实验均表明，SKR 能显著加速神经算子数据生成，实现了高达 13.9 倍的显著加速。
引用
@article{arxiv.2401.09516,
title = {Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling},
author = {Hong Wang and Zhongkai Hao and Jie Wang and Zijie Geng and Zhen Wang and Bin Li and Feng Wu},
journal= {arXiv preprint arXiv:2401.09516},
year = {2024}
}