交叉熵损失下的神经崩溃现象

我们考虑 $\mathbb{R}^d$ 中单位超球面上 $n$ 个特征向量的交叉熵损失的变分问题。我们证明当 $d \geq n - 1$ 时，全局最小值由单纯形等角紧框架给出，这解释了神经崩溃行为。我们还证明当 $n \rightarrow \infty$ 且 $d$ 固定时，极小点将在超球面上均匀分布，并展示了其与 Benedetto & Fickus 的框架势之间的联系。