无需类别先验的多层次对比学习实现细粒度表示学习
计算机视觉与模式识别
2024-09-24 v3
摘要
无监督表示学习的最新进展通常依赖于已知类别数量来改进特征提取和聚类。然而，这一假设提出了一个重要问题：类别数量是否总是必要的，以及类别标签是否完全捕捉了数据中的细粒度特征？在本文中，我们提出了对比解缠（CD）框架，旨在无需依赖类别先验的情况下学习表示。CD利用多层次对比学习策略，将实例级和特征级对比损失与归一化熵损失相结合，以捕获语义丰富且细粒度的表示。具体来说，(1) 实例级对比损失分离不同样本间的特征表示；(2) 特征级对比损失促进特征头之间的独立性；(3) 归一化熵损失确保特征多样性并防止特征坍缩。在CIFAR-10、CIFAR-100、STL-10和ImageNet-10上的大量实验表明，在类别信息不可用或模糊的场景中，CD优于现有方法。代码可在https://github.com/Hoper-J/Contrastive-Disentangling获取。
引用
@article{arxiv.2409.04867,
title = {Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors},
author = {Houwang Jiang and Zhuxian Liu and Guodong Liu and Xiaolong Liu and Shihua Zhan},
journal= {arXiv preprint arXiv:2409.04867},
year = {2024}
}