通过划分减少神经网络的训练时间
神经与进化计算
2016-01-05 v2 机器学习
摘要
本文提出一种用于神经网络预训练的新方法，能够在保持最终性能的同时减少神经网络的总训练时间，这促使该方法应用于深度神经网络。通过将训练任务划分为多个带有子模型的训练子任务，这些子任务可独立且并行地执行，结果表明子模型的大小随所创建子任务数量的增加几乎呈二次方减少，从而快速缩减用于预训练的子模型规模。随后将这些子模型合并，为原始模型提供预训练的初始权重集。所提方法与训练的其他方面无关，例如神经网络架构、训练方法和目标，从而与多种现有方法兼容。在不损失性能情况下的加速效果在 MNIST 和 CIFAR10 数据集上进行了实验验证，同时表明即使顺序执行子任务也能减少训练时间。此外，我们展示了更大的模型可能带来更高的加速比，并推测该方法在分布式学习系统中的益处。
引用
@article{arxiv.1511.02954,
title = {Reducing the Training Time of Neural Networks by Partitioning},
author = {Conrado S. Miranda and Fernando J. Von Zuben},
journal= {arXiv preprint arXiv:1511.02954},
year = {2016}
}
备注
Figure 2b has lower quality due to file size constraints