随机化K-FAC：利用随机数值线性代数加速K-FAC

K-FAC是自然梯度在深度学习中一种成功的、可处理的实现，但它仍存在需要计算Kronecker因子之逆（通过特征分解）的缺陷。当这些因子很大时，计算可能非常耗时（甚至不可行）。本文从理论上证明，由于通常使用的Kronecker因子的指数平均构造范式，其特征谱必然衰减。我们通过数值实验表明，在实践中这种衰减非常迅速，由此想到在求Kronecker因子之逆时仅关注前几个特征模态即可节省大量计算。重要的是，谱衰减发生在常数个模态上，与层宽无关。这使得K-FAC的时间复杂度从关于层宽的三次降为二次，部分缩小了与SENG（另一种在宽度上线性缩放的深度学习实用自然梯度实现）的差距。随机数值线性代数（Randomized Numerical Linear Algebra）为我们提供了必要的工具。数值结果表明，每轮训练时间减少约$2.5\times$，达到目标精度的时间减少约$3.3\times$。我们将提出的加速版K-FAC与SENG比较，观察到在采用VGG16_bn的CIFAR10分类任务上，我们的表现与其相当。