深度卷积网络中的归一化层是否真的需要彼此不同？
计算机视觉与模式识别
2018-11-20 v1 人工智能
机器学习
摘要
是的，它们需要。本工作研究深度学习的一个视角：卷积网络中不同的归一化层是否需要不同的归一化器。这是理解该现象的第一步。我们允许每个卷积层堆叠在一个可切换归一化（SN）之前，该 SN 学习从一组归一化方法池中选择一个归一化器。通过在 ImageNet、COCO、Cityscapes 和 ADE20K 上的系统性实验，我们回答了三个问题：(a) 允许每个归一化层选择自身的归一化器是否有用？(b) 什么影响归一化器的选择？(c) 不同任务和数据集是否偏好不同的归一化器？我们的结果表明：(1) 使用不同的归一化器改善了卷积网络的学习与泛化；(2) 归一化器的选择更与深度和批大小相关，而与参数初始化、学习率衰减和求解器关系较小；(3) 不同任务和数据集在学习选择归一化器时表现出不同行为。
引用
@article{arxiv.1811.07727,
title = {Do Normalization Layers in a Deep ConvNet Really Need to Be Distinct?},
author = {Ping Luo and Zhanglin Peng and Jiamin Ren and Ruimao Zhang},
journal= {arXiv preprint arXiv:1811.07727},
year = {2018}
}
备注
Preprint. Work in Progress. 14 pages, 13 figures