突破基于质心的深度聚类中的再聚类障碍
机器学习
2025-03-04 v2 人工智能
摘要
本研究探讨了基于质心的深度聚类（DC）算法中的一个重要现象：性能在快速早期增长后迅速饱和。从业者通常通过周期性再聚类来解决性能停滞，但我们证明这不足以应对性能平台期。我们将此现象称为“再聚类障碍”，并通过实证展示了再聚类障碍何时发生、其潜在机制是什么，以及我们的算法BRB如何可能突破再聚类障碍。BRB避免了对初始聚类的过早过度承诺，并在保持概念简单的同时，能够持续适应重新初始化的聚类目标。将我们的算法应用于广泛使用的基于质心的深度聚类算法，我们表明：(1) BRB在广泛的聚类基准上持续提升性能；(2) BRB支持从头训练；(3) 当与对比损失结合时，BRB的性能与最先进的深度聚类算法相当。我们在https://github.com/Probabilistic-and-Interactive-ML/breaking-the-reclustering-barrier 发布了我们的代码和预训练模型。
关键词
引用
@article{arxiv.2411.02275,
title = {Breaking the Reclustering Barrier in Centroid-based Deep Clustering},
author = {Lukas Miklautz and Timo Klein and Kevin Sidak and Collin Leiber and Thomas Lang and Andrii Shkabrii and Sebastian Tschiatschek and Claudia Plant},
journal= {arXiv preprint arXiv:2411.02275},
year = {2025}
}
备注
Accepted at ICLR 2025 (Camera-ready version)