通过可切换归一化实现可微分的学习归一化
计算机视觉与模式识别
2019-04-25 v5 机器学习
摘要
我们提出可切换归一化(SN)来解决学习归一化问题，SN 学习为深度神经网络的不同归一化层选择不同归一化器。SN 采用三种不同范围来计算统计量(均值与方差)，包括通道、层和最小批次。SN 通过端到端方式学习它们的重要性权重来在这三者间切换。它具有若干良好性质。首先，它适应各种网络架构与任务(见图1)。其次，它对广泛的批次大小具有鲁棒性，即使呈现小最小批次(如每 GPU 2 张图像)也能保持高性能。第三，SN 没有敏感超参数，不像组归一化将组数作为超参数搜寻。无需额外技巧，SN 在 ImageNet、COCO、CityScapes、ADE20K 和 Kinetics 等多个具挑战性基准上优于对应方法。我们也给出了对 SN 的分析。希望 SN 能帮助简化深度学习中的归一化技术使用并增进理解。SN 的代码已发布于 https://github.com/switchablenorms/。
引用
@article{arxiv.1806.10779,
title = {Differentiable Learning-to-Normalize via Switchable Normalization},
author = {Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li},
journal= {arXiv preprint arXiv:1806.10779},
year = {2019}
}
备注
International Conference on Learning Representations (ICLR)