基于对比学习与多尺度图卷积网络的深度图像聚类
计算机视觉与模式识别
2023-10-18 v3
摘要
深度聚类已展现出通过深度神经网络联合表征学习与聚类的 promising 能力。尽管取得了显著进展，现有深度聚类工作大多利用一些基于分布的聚类损失，缺乏统一表征学习与多尺度结构学习的能力。为此，本文提出一种称为基于对比学习和多尺度图卷积网络的图像聚类（IcicleGCN）的新深度聚类方法，它弥合了卷积神经网络（CNN）与图卷积网络（GCN）之间以及对比学习与多尺度结构学习之间的鸿沟，用于深度聚类任务。我们的框架由四个主要模块组成，即基于 CNN 的主干、实例相似度模块（ISM）、联合聚类结构学习与实例重建模块（JC-SLIM）和多尺度 GCN 模块（M-GCN）。具体而言，具有两个权重共享视图的主干网络用于学习两个增强样本（来自每幅图像）的表征。习得的表征随后被送入 ISM 和 JC-SLIM 分别用于联合实例级和簇级对比学习，在此过程中 JC-SLIM 中的自编码器也被预训练以作为通往 M-GCN 模块的桥梁。进一步，为强化多尺度邻域结构学习，两类 GCN 流与自编码器通过（i）带表征融合的逐层交互和（ii）联合自适应学习同时训练。在多个图像数据集上的实验证明了 IcicleGCN 优于最先进方法的聚类性能。代码见 https://github.com/xuyuankun631/IcicleGCN。
引用
@article{arxiv.2207.07173,
title = {Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks},
author = {Yuankun Xu and Dong Huang and Chang-Dong Wang and Jian-Huang Lai},
journal= {arXiv preprint arXiv:2207.07173},
year = {2023}
}
备注
To appear in the Pattern Recognition journal