揭示 ReLU 网络中的批归一化：等价凸优化模型与隐式正则化
机器学习
2022-03-22 v3 最优化与控制
机器学习
摘要
批归一化（BN）是一种常用技术，用于加速并稳定深度神经网络的训练。尽管其经验上取得成功，对 BN 的完整理论理解尚待建立。本文中，我们通过凸优化的视角分析 BN。我们引入基于凸对偶的分析框架，以获得带 BN 的权重衰减正则化 ReLU 网络的精确凸表示，其可在多项式时间内训练。我们的分析还表明，在高维和/或过度参数化情形下，最优层权重可作为简单闭式公式获得。此外，我们发现梯度下降对标准非凸 BN 网络产生算法偏置效应，并设计了一种方法将该隐式正则化显式编码进凸目标中。在 CIFAR 图像分类上的实验凸显了此显式正则化在模仿并大幅改进标准 BN 网络性能方面的有效性。
引用
@article{arxiv.2103.01499,
title = {Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization},
author = {Tolga Ergen and Arda Sahiner and Batu Ozturkler and John Pauly and Morteza Mardani and Mert Pilanci},
journal= {arXiv preprint arXiv:2103.01499},
year = {2022}
}
备注
Accepted to ICLR 2022. First two authors contributed equally to this work; 36 pages, 13 figures