HEX：自监督算法中的分层涌现利用
计算机视觉与模式识别
2024-10-31 v1
摘要
在本文中，我们提出了一种算法，可应用于多种自监督（SSL）方法之上，以利用训练过程中涌现的分层结构。SSL 方法通常通过某种不变性项来确保相似样本之间的一致性，并通过正则化项来防止全局维度坍缩。维度坍缩指的是数据表示跨越更低维度的子空间。近期工作已证明，这些算法的表示空间在训练过程中逐渐反映出一个语义分层结构。同一分层分组中的数据样本由于彼此共享特征，其局部维度坍缩程度往往大于整个数据集。理想情况下，SSL 算法会利用这种分层涌现来增加一个正则化项以考虑这种局部维度坍缩效应。然而，现有 SSL 算法的构造并未考虑这一特性。为此，我们提出了一种自适应算法，将 InfoNCE 损失的分母加权分解为两项：局部分层正则化和全局坍缩正则化。该分解基于一个自适应阈值，该阈值在训练过程中逐渐降低以反映表示空间的分层结构。它基于批次中样本的余弦相似度分布进行分析。我们证明了这种分层涌现利用（HEX）方法可以集成到多种 SSL 算法中。在经验上，我们在 ImageNet 上的分类准确率方面展示了相对于基线 SSL 方法高达 5.6% 的相对提升（训练 100 个 epoch）。
引用
@article{arxiv.2410.23200,
title = {HEX: Hierarchical Emergence Exploitation in Self-Supervised Algorithms},
author = {Kiran Kokilepersaud and Seulgi Kim and Mohit Prabhushankar and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2410.23200},
year = {2024}
}