卷积层的克罗内克因子化近似 Fisher 矩阵
机器学习
2016-05-25 v2 机器学习
摘要
二阶优化方法如自然梯度下降有潜力通过修正损失函数的曲率来加速神经网络训练。不幸的是，精确自然梯度对于大型模型计算不切实际，并且大多数近似要么需要昂贵的迭代过程，要么对曲率做出粗略近似。我们提出卷积的克罗内克因子 (KFC)，一种基于反向传播导数分布的结构化概率模型对卷积网络 Fisher 矩阵的可处理近似。类似于最近提出的克罗内克因子近似曲率 (K-FAC)，近似 Fisher 矩阵的每个块分解为小矩阵的克罗内克积，允许高效求逆。KFC 捕获重要的曲率信息，同时仍产生与随机梯度下降 (SGD) 相当高效的更新。我们表明这些更新对常用重参数化不变，例如激活的中心化。在我们的实验中，带有 KFC 的近似自然梯度下降能够比精心调整的 SGD 快数倍训练卷积网络。此外，它能够以比 SGD 少 10-20 倍的迭代次数训练网络，表明其在分布式设置中的潜在适用性。
引用
@article{arxiv.1602.01407,
title = {A Kronecker-factored approximate Fisher matrix for convolution layers},
author = {Roger Grosse and James Martens},
journal= {arXiv preprint arXiv:1602.01407},
year = {2016}
}