基于 Kronecker 因子近似曲率的深度卷积神经网络大规模分布式二阶优化
机器学习
2019-04-02 v5 计算机视觉与模式识别
机器学习
摘要
深度神经网络的大规模分布式训练受到由有效小批量尺寸增大所引起的泛化差距的困扰。以往的方法试图通过在训练轮次和层之间改变学习率与批量大小，或对批归一化进行一些临时修改来解决此问题。我们提出了一种替代方法，使用二阶优化方法，其展现出与一阶方法相似的泛化能力，但收敛更快且能处理更大的小批量。为了在已有高度优化的一阶方法作为参考的基准上测试我们的方法，我们在 ImageNet 上训练 ResNet-50。对于小于 16,384 的小批量尺寸，我们在 35 个轮次内收敛到 75% 的 Top-1 验证准确率，并且即使在使用 131,072 的小批量尺寸时也达到了 75%，这仅花费了 978 次迭代。
引用
@article{arxiv.1811.12019,
title = {Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks},
author = {Kazuki Osawa and Yohei Tsuji and Yuichiro Ueno and Akira Naruse and Rio Yokota and Satoshi Matsuoka},
journal= {arXiv preprint arXiv:1811.12019},
year = {2019}
}
备注
10 pages, 7 figures. Accepted at CVPR 2019, Long Beach, CA