使用随机 MG/OPT 训练深度残差网络
机器学习
2021-08-10 v1
摘要
我们使用非线性多重网格方法MG/OPT的随机变体来训练深度残差网络。为构建多重网格层次结构，我们采用了残差网络特有的动力系统视角。我们报告了在深度残差网络上训练MNIST时所取得的显著加速和额外的鲁棒性。我们的数值实验还表明，多层训练可用作一种剪枝技术，因为许多辅助网络的精度与原始网络相当。
引用
@article{arxiv.2108.04052,
title = {Training of deep residual networks with stochastic MG/OPT},
author = {Cyrill von Planta and Alena Kopanicakova and Rolf Krause},
journal= {arXiv preprint arXiv:2108.04052},
year = {2021}
}