不平衡之困：重访神经崩溃几何
机器学习
2022-08-12 v1 机器学习
摘要
神经崩溃（Neural Collapse）指的是深度网络在训练至零训练误差之后所展现的、刻画类嵌入与分类器权重几何结构的显著性质。然而，这一刻画仅对平衡数据成立。在此我们因而探讨它能否做到对类不平衡保持不变性。为此，我们采用无约束特征模型（UFM）——一种近期用于研究神经崩溃的理论模型——并引入单纯形编码标签插值（SELI）作为神经崩溃现象的不变性刻画。具体而言，我们针对带交叉熵损失与消失正则化的 UFM 证明：无论类不平衡程度如何，嵌入与分类器总是插值一个单纯形编码的标签矩阵，且它们各自的几何结构由同一标签矩阵的 SVD 因子决定。随后我们在合成与真实数据集上给出大量实验，证实了向 SELI 几何的收敛。但我们提醒，收敛随不平衡加剧而变差。我们从理论上支撑该发现：与平衡情形不同，当存在少数类时，岭正则化在调整几何结构中起关键作用。这提出了新的问题，并促使进一步研究类不平衡对一阶方法收敛至其渐近偏好解之速率的影响。
引用
@article{arxiv.2208.05512,
title = {Imbalance Trouble: Revisiting Neural-Collapse Geometry},
author = {Christos Thrampoulidis and Ganesh R. Kini and Vala Vakilian and Tina Behnia},
journal= {arXiv preprint arXiv:2208.05512},
year = {2022}
}
备注
55 pages, 21 figures