深度神经网络模型并行学习的局部评判训练
机器学习
2021-02-04 v1
摘要
本文提出一种新颖的模型并行学习方法，称为局部评判训练，其利用称为局部评判网络的附加模块来训练神经网络。主网络被划分为若干层组，每个层组通过对应局部评判网络估计的误差梯度进行更新。我们表明，所提方法成功解耦了卷积神经网络（CNNs）和循环神经网络（RNNs）中层组的更新过程。此外，我们证明该方法保证收敛到临界点。我们还展示由所提方法训练的网络可用于结构优化。实验结果表明，我们的方法取得了令人满意的性能，大幅减少了训练时间，并降低了每台机器的内存消耗。代码见 https://github.com/hjdw2/Local-critic-training。
引用
@article{arxiv.2102.01963,
title = {Local Critic Training for Model-Parallel Learning of Deep Neural Networks},
author = {Hojung Lee and Cho-Jui Hsieh and Jong-Seok Lee},
journal= {arXiv preprint arXiv:2102.01963},
year = {2021}
}