神经坍缩与低秩偏差：深度神经坍缩真的是最优的吗？
机器学习
2024-10-22 v2 最优化与控制
机器学习
摘要
深度神经网络在其最后一层表现出一种令人惊讶的结构，称为神经坍缩（NC），并且越来越多的研究目前正在调查神经坍缩向DNN早期层的传播——这种现象称为深度神经坍缩（DNC）。然而，现有的理论结果仅限于特殊情况：线性模型、仅两层或二分类。相比之下，我们关注多类分类中任意深度的非线性模型，并揭示了一个令人惊讶的定性转变。一旦我们超越两层或两类，DNC对于深度无约束特征模型（DUFM）——分析坍缩的标准理论框架——就不再是最优的。主要原因是多层正则化方案的低秩偏差：这种偏差导致最优解的秩甚至低于神经坍缩。我们通过DUFM和真实数据的实验支持了我们的理论发现，这些实验显示了梯度下降找到的解中低秩结构的出现。
引用
@article{arxiv.2405.14468,
title = {Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal?},
author = {Peter Súkeník and Marco Mondelli and Christoph Lampert},
journal= {arXiv preprint arXiv:2405.14468},
year = {2024}
}