批量归一化对卷积网络表征的影响
机器学习
2025-02-14 v2
摘要
批量归一化 (BatchNorm) 是深度神经网络训练中流行的层归一化技术，已证明可提升深度学习模型的训练速度和准确率。然而，BatchNorm 实现这些效益的机制仍是活跃的研究领域，已提出多种解释。本文考察 BatchNorm 对最终隐藏表征的影响，即在每个隐藏层处理样本时形成的激活向量。具体而言，我们考察了这些表征的稀疏性以及其隐式聚类——即创建相互类似程度一定的表征组的过程。我们对比了在是否使用 BatchNorm 条件下训练的图像分类模型，突出显示了观察到的一致性差异。这些发现表明，BatchNorm 对表征稀疏性的影响并非显著影响泛化，而使用 BatchNorm 训练的模型表征倾向于表现出更具优势的聚类特征。
引用
@article{arxiv.2501.14441,
title = {Impact of Batch Normalization on Convolutional Network Representations},
author = {Hermanus L. Potgieter and Coenraad Mouton and Marelie H. Davel},
journal= {arXiv preprint arXiv:2501.14441},
year = {2025}
}