自监督学习的聚类特性
机器学习
2025-05-13 v2 人工智能
摘要
通过联合嵌入架构的自监督学习 (SSL) 方法在捕获语义丰富的表示方面证明效果显著，尤其在缺乏标签监督的情况下表现出强大的聚类特性。尽管如此, 其中很少有方法探索利用这些未被充分挖掘的特性来改进自身。在本文中, 我们通过各种指标提供证据, 表明编码器的输出 的聚类特性优于其他组件且更为稳定。基于这一洞见, 我们提出一种新型的正向反馈 SSL 方法, 称为表示自分配 (ReSA), 该方法利用模型的聚类特性以自我引导方式促进学习。在标准 SSL 基准测试中进行的大量实验表明, 使用 ReSA 预训练的模型在其他多项最先进 SSL 方法上取得显著优势。最后, 我们分析了 ReSA 如何促进更好的聚类特性, 表明它在细粒度和粗粒度水平上有效增强了聚类性能, 塑造出更具内在结构性和语义意义的表示。
引用
@article{arxiv.2501.18452,
title = {Clustering Properties of Self-Supervised Learning},
author = {Xi Weng and Jianing An and Xudong Ma and Binhang Qi and Jie Luo and Xi Yang and Jin Song Dong and Lei Huang},
journal= {arXiv preprint arXiv:2501.18452},
year = {2025}
}
备注
Accepted at ICML 2025