引导神经崩溃：优化至最近的单纯形等角紧框架
机器学习
2024-11-05 v1
摘要
神经崩溃(NC)是最近在神经网络中观察到的现象，它刻画了最终分类器层在训练至零训练损失时的解空间。具体而言，NC表明最终分类器层收敛至单纯形等角紧框架(ETF)，该框架最大化地分离了对应于每个类的权重。通过对偶性，倒数第二层的特征均值也收敛至相同的单纯形ETF。由于这种简单的对称结构是最优的，我们的想法是利用这一性质来加速收敛。具体而言，我们通过将倒数第二层特征在任意给定训练迭代中的最近单纯形ETF几何结构表述为黎曼优化问题来引入该概念。然后，在每次迭代中，通过求解该内部优化（该优化被封装在一个声明式节点中以允许反向传播），隐式地将分类器权重设置为最近的单纯形ETF。我们在合成和真实世界架构上的分类任务实验表明，我们的方法加速了收敛并增强了训练稳定性。
引用
@article{arxiv.2411.01248,
title = {Guiding Neural Collapse: Optimising Towards the Nearest Simplex Equiangular Tight Frame},
author = {Evan Markou and Thalaiyasingam Ajanthan and Stephen Gould},
journal= {arXiv preprint arXiv:2411.01248},
year = {2024}
}
备注
Accepted to NeurIPS 2024