组件级自然梯度下降——一种高效的神经网络优化方法
机器学习
2022-10-12 v1
摘要
自然梯度下降 (NGD) 是一种二阶神经网络训练方法，它利用 Fisher 信息矩阵 (FIM) 的逆矩阵对梯度下降进行预处理。尽管 NGD 提供了高效的预处理器，但由于求 FIM 逆矩阵需要昂贵的计算量，它在实际中并不可行。本文提出了一种新的 NGD 变体算法，命名为组件级自然梯度下降 (CW-NGD)。CW-NGD 由两个步骤组成。与现有的几项工作类似，第一步是将 FIM 矩阵视为一个块对角矩阵，其对角块对应于每一层权重的 FIM。在 CW-NGD 独有的第二步中，我们分析层的结构，并将该层的 FIM 进一步分解为导数近似独立的小片段。因此，各层的 FIM 被近似为易于求逆的块对角形式。片段分解策略因层结构而异。具体而言，我们分析了全连接层和卷积层，并设计了适当的分解策略。在训练包含这两种层的网络的实验中，我们凭经验证明，与最先进的一阶和二阶方法相比，CW-NGD 收敛所需的迭代次数更少。
关键词
引用
@article{arxiv.2210.05268,
title = {Component-Wise Natural Gradient Descent -- An Efficient Neural Network Optimization},
author = {Tran Van Sang and Mhd Irvan and Rie Shigetomi Yamaguchi and Toshiyuki Nakata},
journal= {arXiv preprint arXiv:2210.05268},
year = {2022}
}