残差网络的行为类似于提升算法

我们表明，残差网络（ResNet）等价于特征表示提升，且无需对底层 ResNet 训练算法做任何修改。我们基于在线梯度提升理论证明了一个遗憾界，并表明 ResNet 可通过神经网络结构改变——在恒等跳跃连接中加入收缩参数并使用具有最大范数界的残差模块——来达到在线梯度提升的遗憾界。通过 ResNet 与在线提升之间的这一关系，可基于改变残差模块来构造新颖的特征表示提升算法。我们对此通过提出决策树残差模块以构造一种新的提升决策树算法，并给出两种方法的泛化误差界；放宽 BoostResNet 算法中的约束以使其能以核外方式训练。我们评估了带与不带收缩修改的卷积 ResNet 以证明其有效性，并表明我们的在线提升决策树算法可与最先进的离线提升决策树算法相媲美，且无离线方法的缺陷。