重新思考神经网络中的归一化与消除奇异性
计算机视觉与模式识别
2020-08-10 v1
摘要
本文中，我们从消除奇异性的角度研究神经网络的归一化方法。消除奇异性对应于训练轨迹上神经元持续失活的点。它们导致损失地形中的退化流形，从而减缓训练并损害模型性能。我们表明，基于通道的归一化（如层归一化与组归一化）无法保证与消除奇异性相距较远，而批归一化因其设计可避免模型过于接近它们。为解决此问题，我们提出批通道归一化（BCN），其利用批知识避免通道归一化模型训练中的消除奇异性。与批归一化不同，BCN可在大批量与微批量训练设置下运行。BCN的有效性在诸多任务上得到验证，包括图像分类、目标检测、实例分割与语义分割。代码见：https://github.com/joe-siyuan-qiao/Batch-Channel-Normalization。
引用
@article{arxiv.1911.09738,
title = {Rethinking Normalization and Elimination Singularity in Neural Networks},
author = {Siyuan Qiao and Huiyu Wang and Chenxi Liu and Wei Shen and Alan Yuille},
journal= {arXiv preprint arXiv:1911.09738},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1903.10520