通过 Woodbury 公式、动量和随机化提高能量自然梯度下降的效率
机器学习
2025-10-24 v2
摘要
自然梯度方法显著加快了物理信息神经网络 (PINNs) 的训练,但往往代价高昂。我们引入一套技术来提高能量自然梯度下降 (ENGD) 的准确性和效率。首先,我们利用 Woodbury 公式大幅降低 ENGD 的计算复杂度。其次,我们采用变分蒙特卡罗文献中从 Subsampled Projected-Increment Natural Gradient Descent 算法来加速收敛。第三,我们探索使用随机化算法进一步降低大批量情况下的计算成本。我们发现,对于低维问题,随机化在训练早期阶段加速进度,并识别出在其他情景中实现加速的关键障碍。我们的数值实验表明,我们的方法优于以前的方法,以相同 误差实现最高可达 的速度提升。
引用
@article{arxiv.2505.12149,
title = {Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization},
author = {Andrés Guzmán-Cordero and Felix Dangel and Gil Goldshlager and Marius Zeinhofer},
journal= {arXiv preprint arXiv:2505.12149},
year = {2025}
}