利用克罗内克积奇异值分解对神经网络中 Fisher 矩阵的高效近似
神经与进化计算
2022-10-17 v6 最优化与控制
机器学习
摘要
若干研究表明，自然梯度下降比基于普通梯度下降的方法更能高效地最小化目标函数。然而，该方法在训练深度神经网络时的瓶颈在于每次迭代求解对应于 Fisher 信息矩阵（FIM）的大型稠密线性系统代价过高。这促使人们对精确 FIM 或经验 FIM 进行各种近似。其中最复杂的是 KFAC，它涉及 FIM 的克罗内克因子分块对角近似。以仅略微增加的代价，我们从精度角度提出了对 KFAC 的若干改进。这四种新方法的共同特征是它们依赖于一个直接最小化问题，其解可通过克罗内克积奇异值分解技术计算。在三个标准深度自编码器基准上的实验结果表明，它们提供了对 FIM 更精确的近似。此外，在优化速度方面它们优于 KFAC 和最先进的一阶方法。
引用
@article{arxiv.2201.10285,
title = {Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition},
author = {Abdoulaye Koroko and Ani Anciaux-Sedrakian and Ibtihel Ben Gharbia and Valérie Garès and Mounir Haddou and Quang Huy Tran},
journal= {arXiv preprint arXiv:2201.10285},
year = {2022}
}