利用预训练模型探索深度图像聚类的极限

Nikolas Adaloglou; Felix Michels; Hamza Kalisch; Markus Kollmann

利用预训练模型探索深度图像聚类的极限

计算机视觉与模式识别 2023-11-13 v2 人工智能

作者: Nikolas Adaloglou , Felix Michels , Hamza Kalisch , Markus Kollmann

摘要

我们提出一种通用方法，通过利用预训练特征提取器来在无标签情况下学习图像分类。我们的方法基于对聚类头进行自蒸馏训练，其依据是预训练特征空间中的最近邻很可能共享同一标签。我们提出一种新颖的目标函数，通过引入点互信息的变体并结合实例加权来学习图像特征间的关联。我们证明所提目标函数能够减弱假正样本对的影响，同时高效利用预训练特征空间中的结构。结果表明，在17种不同的预训练模型上，我们的聚类精度较 $k$ -means在ImageNet和CIFAR100上分别提升 $6.1$ \%和 $12.2$ \%。最后，使用自监督视觉Transformer，我们在ImageNet上取得了 $61.6$ \%的聚类精度。代码见 https://github.com/HHU-MMBS/TEMI-official-BMVC2023。

关键词

图像聚类预训练模型自蒸馏视觉Transformer 无监督学习

引用

@article{arxiv.2303.17896,
  title  = {Exploring the Limits of Deep Image Clustering using Pretrained Models},
  author = {Nikolas Adaloglou and Felix Michels and Hamza Kalisch and Markus Kollmann},
  journal= {arXiv preprint arXiv:2303.17896},
  year   = {2023}
}

备注

Accepted at BMVC2023. Code at https://github.com/HHU-MMBS/TEMI-official-BMVC2023

利用预训练模型探索深度图像聚类的极限

摘要

关键词

引用

备注

相关论文