一种基于高斯过程求解非线性偏微分方程的迷你批量方法

基于高斯过程（GPs）的偏微分方程（PDEs）求解方法通过弥合传统数值算法的理论严谨性与机器学习求解器的灵活设计之间的鸿沟，展现出巨大潜力。GP方法的主要瓶颈在于协方差矩阵求逆，其计算代价随样本量呈三次增长。受神经网络启发，我们提出一种结合GPs的迷你批量算法来求解非线性PDEs。直接为GP求解PDE部署随机梯度下降法具有挑战性，因为所需最小化问题中的目标函数无法表示为有限维随机函数的期望。为解决此问题，我们将迷你批量方法应用于函数空间上相应的无限维最小化问题。该算法在每一步取一个迷你批量的样本来更新GP模型，从而将计算代价分摊到每次迭代中。利用稳定性分析与凸性论证，我们证明该迷你批量方法以 $O(1/K+1/M)$ 的速率稳步将一种自然的误差度量降至零，其中 $K$ 为迭代次数，$M$ 为批量大小。