基于分布式K-FAC的卷积神经网络训练
机器学习
2020-07-03 v1 分布式、并行与集群计算
机器学习
摘要
使用多处理器训练神经网络可减少求解时间；然而，在大规模下保持收敛与效率具有挑战性。Kronecker因子近似曲率（K-FAC）最近被提出作为费雪信息矩阵的近似，可用于自然梯度优化器。我们在此研究一种可扩展的K-FAC设计及其在大规模卷积神经网络（CNN）训练中的适用性。我们研究层-wise分布策略、无逆二阶梯度评估和动态K-FAC更新解耦等优化技术，以在保持收敛的同时减少训练时间。我们使用应用于CIFAR-10和ImageNet-1k数据集的残差神经网络（ResNet）来评估我们K-FAC梯度预条件器的正确性与可扩展性。在ImageNet-1k数据集上使用ResNet-50，我们的分布式K-FAC实现在GPU集群上跨规模比经典随机梯度下降（SGD）优化器少花18-25%的时间收敛到75.9%的MLPerf基线。
引用
@article{arxiv.2007.00784,
title = {Convolutional Neural Network Training with Distributed K-FAC},
author = {J. Gregory Pauloski and Zhao Zhang and Lei Huang and Weijia Xu and Ian T. Foster},
journal= {arXiv preprint arXiv:2007.00784},
year = {2020}
}
备注
To be published in the proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC20)