通过中间层的最近类中心简化
机器学习
2022-06-14 v2
摘要
深度学习的近期理论进展引入了在训练期间、越过插值阈值（训练误差达到零）之后出现的几何性质。我们探究了网络中中间层被称为神经崩溃的现象，并强调了深度网络内部最近类中心失配的内在机制。我们进一步表明这些过程在视觉与语言模型架构中均会发生。最后，我们提出了一种随机变异性简化损失（SVSL），其在中间层鼓励更好的几何特征，并改善了训练指标与泛化能力。
引用
@article{arxiv.2201.08924,
title = {Nearest Class-Center Simplification through Intermediate Layers},
author = {Ido Ben-Shaul and Shai Dekel},
journal= {arXiv preprint arXiv:2201.08924},
year = {2022}
}