刻画信号传播以缩小无归一化ResNets的性能差距
机器学习
2021-01-28 v2 计算机视觉与模式识别
机器学习
摘要
Batch Normalization几乎是当前所有最先进图像分类器的关键组件，但它也带来了实际挑战：它破坏了同一批次内训练样本之间的独立性，可能带来计算和内存开销，并常导致意想不到的bug。基于近期对深度ResNets在初始化时的理论分析，我们提出了一组简单的分析工具来刻画前向传播中的信号传播，并利用这些工具设计了无需激活归一化层的高性能ResNets。我们成功的关键在于对近期提出的Weight Standardization的改进版本。我们的分析工具表明，该技术通过确保每通道激活均值不随深度增长，从而在具有ReLU或Swish激活函数的网络中保持信号。在一系列FLOP预算下，我们的网络在ImageNet上取得了与最先进的EfficientNets相竞争的性能。
引用
@article{arxiv.2101.08692,
title = {Characterizing signal propagation to close the performance gap in unnormalized ResNets},
author = {Andrew Brock and Soham De and Samuel L. Smith},
journal= {arXiv preprint arXiv:2101.08692},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021