利用提升理论顺序学习深度残差网络块
机器学习
2018-06-15 v4
摘要
深度神经网络因反向传播的不稳定性而难以训练。具有恒等环路的深度残差网络（ResNet）通过稳定梯度计算弥补了这一缺陷。我们证明了针对ResNet架构的提升理论。我们构造个弱模块分类器，每个包含层中的两层，使得组合后的强学习器是一个ResNet。因此，我们引入了一种替代的深度ResNet训练算法，即BoostResNet，它特别适用于不可微架构。我们提出的算法仅需顺序训练个廉价的“浅层ResNet”。我们证明，如果我们训练的弱模块分类器表现略优于某个弱基线，则训练误差随深度呈指数衰减。换言之，我们提出了弱学习条件，并证明了在该弱学习条件下ResNet的提升理论。我们的结果适用于一般的多类ResNet。我们证明了基于间隔理论的泛化误差界，并表明在权重范数有界的网络下ResNet抗过拟合。
引用
@article{arxiv.1706.04964,
title = {Learning Deep ResNet Blocks Sequentially using Boosting Theory},
author = {Furong Huang and Jordan Ash and John Langford and Robert Schapire},
journal= {arXiv preprint arXiv:1706.04964},
year = {2018}
}
备注
Accepted to ICML 2018