基于扩散采样和难度感知自蒸馏的深度聚类
计算机视觉与模式识别
2024-09-23 v2
摘要
深度聚类因其无需标记数据即可学习有利于聚类的表征的能力而受到广泛关注。然而，以往的深度聚类方法倾向于平等对待所有样本，这忽略了潜在分布的方差以及分类或聚类不同样本的难度差异。为了解决这个问题，本文提出了一种新颖的端到端深度聚类方法，该方法结合了扩散采样和难度感知自蒸馏（HaDis）。具体来说，我们首先通过扩散采样对齐（DSA）将实例的一个视图与另一个视图对齐，这有助于提高簇内紧凑性。为了缓解采样偏差，我们提出了难度感知自蒸馏（HSD）机制来挖掘最难的负样本和正样本，并以自蒸馏的方式自适应地调整它们的权重，这能够处理优化过程中样本贡献的潜在不平衡问题。此外，还结合了原型对比学习，以同时增强簇间可分离性和簇内紧凑性。在五个具有挑战性的图像数据集上的实验结果表明，我们的 HaDis 方法在聚类性能上优于最先进的方法。源代码可在 https://github.com/Regan-Zhang/HaDis 获取。
引用
@article{arxiv.2401.14038,
title = {Deep Clustering with Diffused Sampling and Hardness-aware Self-distillation},
author = {Hai-Xin Zhang and Dong Huang},
journal= {arXiv preprint arXiv:2401.14038},
year = {2024}
}
备注
We have found that our paper has many imperfections and incorrect formulas and derivations, and we insist on retracting the manuscript in order to avoid misleading readers.