重新思考 BatchNorm 中的“批”

BatchNorm 是现代卷积神经网络中的关键构建模块。其针对“批次”而非单个样本进行操作的独特性质，使其在行为上与深度学习中大多数其他操作有显著不同。因此，它带来了许多隐蔽的缺陷，可能以微妙的方式对模型性能产生负面影响。本文全面审视了视觉识别任务中的此类问题，并指出解决这些问题的关键在于重新思考 BatchNorm 中“批”这一概念下的不同选择。通过呈现这些缺陷及其缓解方法，我们希望本综述能帮助研究者更有效地使用 BatchNorm。