具有外部引导的图像聚类
机器学习
2024-07-17 v3
摘要
聚类的核心在于融入先验知识以构建监督信号。从基于数据紧致性的经典 k-means 到近期由自监督引导的对比聚类，聚类方法的演进本质上对应于监督信号的演进。当前，大量努力已投入从数据中挖掘内部监督信号。然而，丰富的外部知识（如语义描述）天然有助于聚类，却遗憾地被忽视。在本工作中，我们提出利用外部知识作为一种新的监督信号来引导聚类，即便其看似与给定数据无关。为落实并验证我们的想法，我们设计了一种外部引导的聚类方法（文本辅助聚类，TAC），其利用 WordNet 的文本语义来促进图像聚类。具体而言，TAC 首先筛选并检索最能区分图像的 WordNet 名词以增强特征可判别性。然后，为提升图像聚类性能，TAC 通过相互蒸馏跨模态邻域信息来协作文本与图像模态。实验表明，TAC 在五个广泛使用及三个更具挑战性的图像聚类基准（包括完整的 ImageNet-1K 数据集）上取得了最先进的性能。
引用
@article{arxiv.2310.11989,
title = {Image Clustering with External Guidance},
author = {Yunfan Li and Peng Hu and Dezhong Peng and Jiancheng Lv and Jianping Fan and Xi Peng},
journal= {arXiv preprint arXiv:2310.11989},
year = {2024}
}