论深度优化中的跳跃连接与归一化层
机器学习
2023-12-05 v4
摘要
我们引入了一个通用理论框架，专为研究深度神经网络的梯度优化而设计，涵盖了包括批量归一化、权重归一化和跳跃连接在内的普遍架构选择。我们的框架依据其构成层确定了多层损失景观的曲率和正则性特征，从而阐明了归一化层和跳跃连接在全局化这些特征中所起的作用。随后，我们从两个方面展示了该框架的效用。首先，我们给出了我们所知的唯一证明，即一类深度神经网络即使在全局最优仅存在于无穷远处（如交叉熵代价函数的情况）时，也能使用梯度下降训练至全局最优。其次，我们识别出跳跃连接加速训练的一种新颖因果机制，并在 MNIST、CIFAR10、CIFAR100 和 ImageNet 上利用 ResNet 预测性地验证了该机制。
引用
@article{arxiv.2210.05371,
title = {On skip connections and normalisation layers in deep optimisation},
author = {Lachlan Ewen MacDonald and Jack Valmadre and Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2210.05371},
year = {2023}
}
备注
NeurIPS 2023