一种用于无批归一化有效ResNet训练的残差块鲁棒初始化方法
机器学习
2023-11-07 v2
摘要
批归一化是所有最先进神经网络架构的重要组成部分。然而，由于它引入许多实际问题，近期大量研究致力于设计无归一化架构。在本文中，我们表明权重初始化是训练类ResNet无归一化网络的关键。具体而言，我们对块输出与跳跃连接分支的求和操作提出轻微修改，以使整个网络被正确初始化。我们表明，该修改后的架构在CIFAR-10、CIFAR-100和ImageNet上无需进一步正则化或算法修改即可取得有竞争力的结果。
引用
@article{arxiv.2112.12299,
title = {A Robust Initialization of Residual Blocks for Effective ResNet Training without Batch Normalization},
author = {Enrico Civitelli and Alessio Sortino and Matteo Lapucci and Francesco Bagattini and Giulio Galvan},
journal= {arXiv preprint arXiv:2112.12299},
year = {2023}
}
备注
16 pages (4 pages of supplementary material), 9 figures, 2 table