面向大规模阻尼自然梯度下降的高效数值算法
机器学习
2023-10-27 v1 数值分析
数值分析
计算物理
摘要
我们提出一种新算法，用于在参数数量显著超过可用样本数量的大规模场景下高效求解阻尼Fisher矩阵。该问题对自然梯度下降和随机重配置具有基础性意义。我们的算法基于Cholesky分解且普遍适用。基准结果表明该算法比现有方法显著更快。
引用
@article{arxiv.2310.17556,
title = {Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent},
author = {Yixiao Chen and Hao Xie and Han Wang},
journal= {arXiv preprint arXiv:2310.17556},
year = {2023}
}