深度神经坍塌在深度无约束特征模型下被证明是最优的
机器学习
2023-05-23 v1 机器学习
摘要
神经坍塌（NC）指的是梯度下降训练终期深度神经网络最后一层令人惊讶的结构。近来，越来越多的实验证据表明NC传播至神经网络的更早层。然而，尽管最后层的NC已有充分理论研究，其多层对应物——深度神经坍塌（DNC）却知之甚少。现有工作要么聚焦于线性层，要么仅以额外假设为代价关注最后两层。我们的论文通过将被确立的NC分析框架——无约束特征模型——推广到多个非线性层，填补了这一空白。我们的关键技术贡献是证明，在深度无约束特征模型中，二分类的唯一全局最优展现出DNC的所有典型性质。这解释了现有的DNC实验证据。我们还通过经验表明：（i）通过梯度下降优化深度无约束特征模型，所得解与我们的理论吻合良好；（ii）训练后的网络恢复了适于DNC发生的无约束特征，从而支持该建模原则的有效性。
引用
@article{arxiv.2305.13165,
title = {Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained Features Model},
author = {Peter Súkeník and Marco Mondelli and Christoph Lampert},
journal= {arXiv preprint arXiv:2305.13165},
year = {2023}
}