采用批-通道归一化与权重标准化的微批量训练
计算机视觉与模式识别
2020-08-11 v2 机器学习
摘要
批归一化（BN）已成为改进深度网络训练的开箱即用技术。然而，其有效性在微批量训练中受限，即每个GPU通常仅有1-2张图像用于训练，这对于许多计算机视觉任务（如目标检测和语义分割）因内存消耗限制而不可避免。为解决此问题，我们提出权重标准化（WS）和批-通道归一化（BCN），将BN的两个成功因素引入微批量训练：1）对损失景观的平滑效应，以及2）避免训练轨迹中有害的消除奇点的能力。WS标准化卷积层中的权重，通过减小损失和梯度的Lipschitz常数来平滑损失景观；BCN结合批和通道归一化，并利用卷积层激活的估计统计量使网络远离消除奇点。我们在全面的计算机视觉任务上验证了WS和BCN，包括图像分类、目标检测、实例分割、视频识别和语义分割。所有实验结果一致表明WS和BCN显著改善微批量训练。此外，在微批量训练中使用WS和BCN甚至能够匹配或超越大批量训练下BN的性能。
引用
@article{arxiv.1903.10520,
title = {Micro-Batch Training with Batch-Channel Normalization and Weight Standardization},
author = {Siyuan Qiao and Huiyu Wang and Chenxi Liu and Wei Shen and Alan Yuille},
journal= {arXiv preprint arXiv:1903.10520},
year = {2020}
}