量化神经网络的变异性坍缩
机器学习
2023-06-07 v1
摘要
近期研究从经验上证明了神经网络的迁移性与最后一层特征的类内变化之间的正相关关系。最近发现的神经坍缩（NC）现象为理解神经网络的最后一层几何结构提供了新视角。本文中，我们提出一种名为变异性坍缩指数（VCI）的新度量，以量化 NC 范式中的变异性坍缩现象。VCI 度量动机充分，且与最后一层特征上的线性探测损失本质相关。此外，它具有期望的理论与经验性质，包括可逆线性变换下的不变性和数值稳定性，这使其区别于以往的度量。我们的实验验证了 VCI 可指示预训练神经网络的变异性坍缩与迁移性。
引用
@article{arxiv.2306.03440,
title = {Quantifying the Variability Collapse of Neural Networks},
author = {Jing Xu and Haoxiong Liu},
journal= {arXiv preprint arXiv:2306.03440},
year = {2023}
}