迈向理解神经崩溃：批归一化与权重衰减的影响
机器学习
2024-09-06 v3
摘要
神经崩溃（Neural Collapse, NC）是近期在深度神经网络训练末期观察到的一种几何结构，它指出同一类的最后一层特征向量会“崩溃”到单个点，而不同类的特征则变得等距分离。我们证明批归一化（batch normalization, BN）和权重衰减（weight decay, WD）对 NC 的出现有关键影响。在近最优损失区间，我们建立了 NC 出现的一个渐近下界，该下界仅依赖于 WD 值、训练损失以及最后一层是否存在 BN。我们的实验通过表明模型在具有 BN、适当 WD 值、更低损失和更低最后一层特征范数时表现出更强的 NC 存在性，证实了理论见解。我们的发现为研究 BN 和 WD 在塑造神经网络特征中的作用提供了新视角。
引用
@article{arxiv.2309.04644,
title = {Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay},
author = {Leyan Pan and Xinyuan Cao},
journal= {arXiv preprint arXiv:2309.04644},
year = {2024}
}