FreezeOut：通过逐层渐进冻结加速训练
机器学习
2017-06-20 v2 机器学习
摘要
深度神经网络的早期层参数最少，但占据了最多的计算量。在这篇扩展摘要中，我们提出仅在训练过程的特定时段内训练隐藏层，将其逐一冻结并从反向传播中排除。通过在 CIFAR 上的实验，我们经验性地证明，FreezeOut 在 DenseNets 训练中可节省高达 20% 的实际运行时间，精度损失为 3%；在 ResNets 上实现 20% 的加速且无精度损失；而对 VGG 网络则没有改善。我们的代码已在 https://github.com/ajbrock/FreezeOut 公开发布。
引用
@article{arxiv.1706.04983,
title = {FreezeOut: Accelerate Training by Progressively Freezing Layers},
author = {Andrew Brock and Theodore Lim and J. M. Ritchie and Nick Weston},
journal= {arXiv preprint arXiv:1706.04983},
year = {2017}
}
备注
Extended Abstract