基于动力系统视角的多级残差网络
机器学习
2018-02-05 v2 计算机视觉与模式识别
摘要
深度残差网络（ResNets）及其变体广泛应用于众多计算机视觉应用与自然语言处理任务。然而，设计和训练 ResNet 的理论原理仍未被充分理解。近来，出现了若干试图从理论解释 ResNet 的视角，如展开视角、展开迭代估计与动力系统视角。本文中，我们采用动力系统视角，并从理论与实验两方面分析 ResNet 的损毁特性。基于这些分析，我们进一步提出一种加速 ResNet 训练的新方法。我们将所提方法应用于在三个图像分类基准上训练 ResNet 与 Wide ResNets，以更优或相当的准确率将训练时间减少逾 40%。
引用
@article{arxiv.1710.10348,
title = {Multi-level Residual Networks from Dynamical Systems View},
author = {Bo Chang and Lili Meng and Eldad Haber and Frederick Tung and David Begert},
journal= {arXiv preprint arXiv:1710.10348},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018