MSE损失下神经坍缩的优化景观：无约束特征下的全局最优性
机器学习
2022-03-15 v2 人工智能
信息论
math.IT
最优化与控制
机器学习
摘要
在训练深度神经网络进行分类任务时，一个引人注目的经验现象已被广泛观察到，出现在最后一层分类器与特征中：即（i）类均值与最后一层分类器都坍缩到单纯形等角紧框架（ETF）的顶点（差一个缩放），以及（ii）最后一层激活的类内跨样本变异性坍缩为零。这一现象被称为神经坍缩（NC），且似乎与损失函数的选择无关而发生。在本工作中，我们为均方误差（MSE）损失下的 NC 提供理论依据，近期经验证据表明该损失表现与事实上的交叉熵损失相当甚至更优。在一个简化的无约束特征模型下，我们首次对原始非凸 MSE 损失给出全局景观分析，并证明（唯一的！）全局极小元即为神经坍缩解，而所有其他临界点都是严格鞍点，其 Hessian 呈现负曲率方向。进一步，我们通过探查 NC 解周围的优化景观，论证了使用重缩放 MSE 损失的合理性，表明可通过调节重缩放超参数改善景观。最后，我们的理论发现在实际网络架构上得到了实验验证。
引用
@article{arxiv.2203.01238,
title = {On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features},
author = {Jinxin Zhou and Xiao Li and Tianyu Ding and Chong You and Qing Qu and Zhihui Zhu},
journal= {arXiv preprint arXiv:2203.01238},
year = {2022}
}