面向高维高阶 PINN 的随机无维度零阶估计器

针对高维高阶偏微分方程 (PDE) 的 Physics-Informed Neural Networks (PINNs) 主要受限于 $\mathcal{O}(d^k)$ 的空间导数复杂度以及反向传播 (BP) 的 $\mathcal{O}(P)$ 内存开销。虽然随机化空间估计器成功将空间复杂度降至 $\mathcal{O}(1)$，但其依赖的一阶优化仍在规模化时导致不可接受的内存消耗。零阶 (ZO) 优化提供了一种无需 BP 的替代方案；然而，粗糙地将随机化空间算子与 ZO 扰动组合会触发 $\mathcal{O}(1/\varepsilon^2)$ 的方差爆炸，导致数值发散。为此，我们提出了 Stochastic Dimension-free Zeroth-order Estimator (SDZE)，一个统一框架，实现空间和内存中的维度无关复杂度。具体而言，SDZE 利用 Common Random Numbers Synchronization (CRNS) 通过锁定空间随机种子在扰动之间的方式，代数上抵消 $\mathcal{O}(1/\varepsilon^2)$ 的方差。此外，引入一种隐式矩阵无关的子空间投影，将参数探索方差从 $\mathcal{O}(P)$ 降至 $\mathcal{O}(r)$，同时保持 $\mathcal{O}(1)$ 的优化器内存占用。实验结果表明，SDZE 使能够在单张 NVIDIA A100 GPU 上训练 1000 万维度的 PINN，在速度和内存效率方面显著优于最先进的基线方法。