训练深度神经网络的两种两级 KFAC 方法分析与比较
机器学习
2023-04-04 v2 最优化与控制
摘要
作为二阶方法,自然梯度下降(NGD)具有加速神经网络训练的能力。然而,由于计算和求逆 Fisher 信息矩阵(FIM)的计算与内存代价过高,必须采用高效近似使 NGD 可扩展到深度神经网络(DNNs)。已有许多此类近似尝试。其中最复杂的是 KFAC,它将 FIM 近似为块对角矩阵,其中每个块对应神经网络的一层。如此,KFAC 忽略了不同层之间的相互作用。在本工作中,我们通过两级方法研究了恢复层间某些低频相互作用的价值。受区域分解启发,我们提出并评估了使用不同粗空间的若干 KFAC 两级修正。所得结果表明,以这种方式纳入层间相互作用并未真正改善 KFAC 的性能。这表明丢弃 FIM 的非对角块是安全的,因为块对角方法在计算时间上已足够鲁棒、准确且经济。
引用
@article{arxiv.2303.18083,
title = {Analysis and Comparison of Two-Level KFAC Methods for Training Deep Neural Networks},
author = {Abdoulaye Koroko and Ani Anciaux-Sedrakian and Ibtihel Ben Gharbia and Valérie Garès and Mounir Haddou and Quang Huy Tran},
journal= {arXiv preprint arXiv:2303.18083},
year = {2023}
}
备注
Under Review