深度线性网络中的神经崩塌：从平衡数据到不平衡数据
机器学习
2023-06-21 v5 机器学习
摘要
现代深度神经网络在从图像分类到自然语言处理的任务上取得了令人印象深刻的性能。令人惊讶的是，这些具有海量参数的复杂系统，在训练至收敛时，在规范数据集上的最后一层特征与分类器中展现出相同的结构特性。特别地，已观察到最后一层特征崩塌至其类均值，且这些类均值是单纯形等角紧框架（ETF）的顶点。该现象被称为神经崩塌（NC）。近期论文已从理论上证明，在简化的“无约束特征模型”训练问题的全局极小解中会出现NC。在此背景下，我们更进一步，证明了在流行的均方误差（MSE）和交叉熵（CE）损失下深度线性网络中NC的出现，表明全局解在线性各层均展现NC特性。此外，我们将研究扩展至MSE损失下的不平衡数据，并给出了无偏置设定下NC的首个几何分析。我们的结果表明，最后一层特征与分类器收敛于由正交向量构成的几何结构，其长度取决于对应类别中的数据量。最后，我们在合成与实际网络架构上，通过平衡与不平衡场景实证验证了我们的理论分析。
引用
@article{arxiv.2301.00437,
title = {Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data},
author = {Hien Dang and Tho Tran and Stanley Osher and Hung Tran-The and Nhat Ho and Tan Nguyen},
journal= {arXiv preprint arXiv:2301.00437},
year = {2023}
}
备注
75 pages, 20 figures, 4 tables. Hien Dang and Tho Tran contributed equally to this work