神经（切核）坍缩
机器学习
2023-11-07 v2 人工智能
摘要
本工作桥接了两个重要概念：神经切核（NTK），它捕捉深度神经网络（DNNs）在训练过程中的演化；以及神经坍缩（NC）现象，它指训练良好的分类 DNNs 最后一层特征中对称性和结构的涌现。我们采用一个自然假设，即经验 NTK 发展出与类标签对齐的块结构，即同一类内的样本比不同类的样本具有更强的相关性。在此假设下，我们推导了用均方误差（MSE）损失训练的 DNNs 的动力学，并将其分解为可解释的相位。此外，我们识别出一个捕捉动力学本质的不变量，并用它证明具有块结构 NTK 的 DNNs 中 NC 的涌现。我们在三种常见 DNN 架构和三个基准数据集上提供了大规模数值实验以支持我们的理论。
引用
@article{arxiv.2305.16427,
title = {Neural (Tangent Kernel) Collapse},
author = {Mariia Seleznova and Dana Weitzner and Raja Giryes and Gitta Kutyniok and Hung-Hsu Chou},
journal= {arXiv preprint arXiv:2305.16427},
year = {2023}
}