用于学习归一化深度表征的可切换归一化
计算机视觉与模式识别
2019-07-25 v1 机器学习
摘要
我们通过提出可切换归一化（Switchable Normalization，SN）来解决学习归一化问题，该方法学习为深度神经网络的不同归一化层选择不同的归一化器。SN采用三种不同的范围来计算统计量（均值和方差），包括通道、层和最小批（minibatch）。SN通过端到端方式学习它们的重要性权重，从而在这三者之间切换。它具有若干良好性质。首先，它适应各种网络架构和任务。其次，它对广泛的批大小具有鲁棒性，即使呈现较小的最小批（例如每GPU 2张图像）也能保持高性能。第三，SN没有敏感的超参数，而不像组归一化需要将组数作为超参数进行搜索。无需额外技巧，SN在多个具有挑战性的基准上优于其对应方法，如ImageNet、COCO、CityScapes、ADE20K、MegaFace和Kinetics。我们还给出了对SN的分析以回答以下三个问题：(a) 允许每个归一化层选择自己的归一化器是否有用？(b) 什么影响了归一化器的选择？(c) 不同的任务和数据集是否偏好不同的归一化器？我们希望SN将有助于简化深度学习中的归一化技术的使用并增进对其的理解。SN的代码已发布于 https://github.com/switchablenorms。
引用
@article{arxiv.1907.10473,
title = {Switchable Normalization for Learning-to-Normalize Deep Representation},
author = {Ping Luo and Ruimao Zhang and Jiamin Ren and Zhanglin Peng and Jingyu Li},
journal= {arXiv preprint arXiv:1907.10473},
year = {2019}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence, 18 pages, 15 figures, 11 tables. arXiv admin note: substantial text overlap with arXiv:1806.10779