基于对比互补生成的多视角不完整图像自监督聚类
计算机视觉与模式识别
2022-11-24 v1
摘要
不完整多视角聚类旨在利用多模态数据提升聚类性能。尽管已有若干研究该问题的方法被提出，以下缺陷依然存在：1) 在不使用标签信息的情况下，难以学习兼顾互补性与一致性的潜在表示；2) 因此未能充分利用不完整数据中的隐藏信息，导致在完整数据稀缺时聚类性能次优。本文提出基于生成对抗网络(GAN)的对比不完整多视角图像聚类(CIMIC-GAN)，其利用GAN填补不完整数据，并使用双重对比学习在完整与不完整数据上学习一致性。更具体地，考虑到多模态间的多样性与互补信息，我们将完整与不完整数据的自编码表示纳入双重对比学习以实现一致性学习。将GAN整合进自编码过程，不仅能充分利用不完整数据的新特征，还能在高数据缺失率下更好地泛化模型。在四个广泛使用的数据集上的实验表明，CIMIC-GAN优于最先进的不完整多视角聚类方法。
引用
@article{arxiv.2209.11927,
title = {Self-supervised Image Clustering from Multiple Incomplete Views via Constrastive Complementary Generation},
author = {Jiatai Wang and Zhiwei Xu and Xuewen Yang and Dongjin Guo and Limin Liu},
journal= {arXiv preprint arXiv:2209.11927},
year = {2022}
}