NG+：一种用于深度学习的多步矩阵乘积自然梯度法
最优化与控制
2021-06-15 v1 人工智能
机器学习
机器学习
摘要
本文提出一种称为NG+的新型二阶方法。遵循“梯度的形状等于参数的形状”规则，我们使用矩阵形式的梯度乘积而非传统的向量化来定义广义费雪信息矩阵（GFIM）。进而，我们的广义自然梯度方向即为GFIM之逆乘以矩阵形式的梯度。此外，GFIM及其逆在多步内保持不变，从而计算成本可控且与一阶方法相当。在一些温和条件下建立了全局收敛性，并给出了在线学习场景下的后悔界（regret bound）。在ResNet50上的图像分类、Schnet上的量子化学建模、Transformer上的神经机器翻译以及DLRM上的推荐系统数值结果表明，GN+与最先进方法具有竞争力。
引用
@article{arxiv.2106.07454,
title = {NG+ : A Multi-Step Matrix-Product Natural Gradient Method for Deep Learning},
author = {Minghan Yang and Dong Xu and Qiwen Cui and Zaiwen Wen and Pengxiang Xu},
journal= {arXiv preprint arXiv:2106.07454},
year = {2021}
}