神经网络多变量回归中的神经坍缩现象
机器学习
2025-09-30 v2 人工智能
摘要
最近观察到在分类问题训练最终阶段,神经网络会出现神经坍缩 (NC) 现象。我们经验性地表明,多变量回归(如仿照学习和其他应用中所用) exhibit Neural Regression Collapse (NRC),这是一种新的神经坍缩形式: (NRC1) 最后一层特征向量坍缩到由目标维数 个主成分张成的子空间中(对于单变量回归,); (NRC2) 最后一层特征向量也坍缩到由最后一层权重向量张成的子空间; (NRC3) 权重向量的格拉姆矩阵收敛于特定函数形式,该形式取决于目标协方差矩阵。经过对多种数据集和网络结构进行经验性验证后,我们通过将回归任务建模于无约束特征模型 (UFM) 的背景下来解释这些现象,在该模型中,最后一层特征向量在最小化损失函数时被视为自由变量。我们证明,当 UFM 模型中的正则化参数严格为正时,(NRC1)-(NRC3) 也作为 UFM 优化问题的解出现。我们还指出,如果正则化参数为零，则不存在坍缩。到目前为止,这是关于回归语境下神经坍缩的首个经验性和理论性研究。这种扩展不仅因为它将神经坍缩的适用性拓展到新问题类别,而且因为它暗示神经坍缩现象可能是深度学习中的一种普遍行为。
引用
@article{arxiv.2409.04180,
title = {The Prevalence of Neural Collapse in Neural Multivariate Regression},
author = {George Andriopoulos and Zixuan Dong and Li Guo and Zifan Zhao and Keith Ross},
journal= {arXiv preprint arXiv:2409.04180},
year = {2025}
}
备注
Published at NeurIPS 2024