神经元上的梯度下降及其与近似二阶优化的联系
机器学习
2022-06-13 v2
摘要
二阶优化器被认为有加速神经网络训练的潜力，但由于曲率矩阵规模巨大，它们通常需要近似才能在计算上可行。最成功的近似族是 Kronecker 分解的块对角曲率估计 (KFAC)。本文中，我们结合已有工作的工具来评估精确的二阶更新，并通过细致的消融实验得出一个令人惊讶的结果：由于其近似，KFAC 与二阶更新并无紧密关联，且尤其地，它显著优于真正的二阶更新。这挑战了广泛持有的信念，并立即引出了 KFAC 为何表现如此优异的问题。为回答该问题，我们给出的证据强烈暗示 KFAC 近似了一种一阶算法，该算法在神经元而非权重上执行梯度下降。最后，我们表明该优化器在计算开销与数据效率上常优于 KFAC。
引用
@article{arxiv.2201.12250,
title = {Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization},
author = {Frederik Benzing},
journal= {arXiv preprint arXiv:2201.12250},
year = {2022}
}
备注
ICML 2022, camera ready