一种用于深度学习的迭代K-FAC算法

Kronecker因子近似曲率（K-FAC）方法是深度学习的一种高效二阶优化器。在许多大规模问题中，其训练时间少于SGD（或其他一阶方法）且达到相同准确率。K-FAC的关键在于将费雪信息矩阵（FIM）近似为块对角矩阵，其中每个块是微小Kronecker因子的逆。在本短文中，我们提出CG-FAC——一种新型的迭代K-FAC算法。它使用共轭梯度法来近似自然梯度。该CG-FAC方法是无矩阵的，即无需生成FIM矩阵，也无需生成Kronecker因子A和G。我们证明了迭代CG-FAC的时间和内存复杂度远小于标准K-FAC算法。