监督对比损失中神经崩溃几何的工程设计
机器学习
2023-10-03 v1
摘要
监督对比损失（SCL）是交叉熵（CE）用于分类任务的一种替代方案，它利用嵌入空间中的相似性以获得更丰富的表示。在本工作中，我们提出通过修改对比损失来设计这些所学特征嵌入的几何结构的方法。为调整几何结构，我们探究了原型（prototypes，即训练中包含以改变最终特征几何的固定嵌入）的影响。具体而言，通过实证发现，我们证明在每批次中纳入原型会诱导所学嵌入的几何与原型的几何相对齐。我们通过考虑原型数量远超原始批次大小的极限场景获得了进一步见解。借此，我们建立了与带固定分类器及归一化嵌入的交叉熵（CE）损失之间的联系。我们在基准视觉数据集上使用深度神经网络进行了一系列实验来验证我们的发现。
引用
@article{arxiv.2310.00893,
title = {Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss},
author = {Jaidev Gill and Vala Vakilian and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2310.00893},
year = {2023}
}
备注
5 pages, 3 figures