深度多视图聚类中自监督与对比对齐的效应
机器学习
2023-03-20 v1 计算机视觉与模式识别
机器学习
摘要
自监督学习是近期深度多视图聚类（MVC）方法的核心组成部分。然而，我们发现基于自监督的深度 MVC 方法的发展存在巨大差异，可能减缓该领域的进展。为此，我们提出 DeepMVC，一个包含许多近期方法作为实例的深度 MVC 统一框架。我们利用该框架对自监督的效应做出关键观察，特别是利用对比学习对齐表示的缺陷。进一步，我们证明对比对齐会对簇可分离性产生负面影响，且当视图数量增加时该效应加剧。受我们的发现启发，我们开发了若干具有新形式自监督的 DeepMVC 新实例。我们进行了大量实验，发现（i）与理论发现一致，对比对齐在具有多视图的数据集上降低性能；（ii）所有方法均从某种形式的自监督中受益；以及（iii）我们的新实例在多个数据集上超越以往方法。基于结果，我们建议了若干有前景的未来研究方向。为提升领域开放性，我们提供了 DeepMVC 的开源实现，包含近期模型与我们的新实例。我们的实现包含一致的评估协议，以促进方法与组件公平而准确的评估。
引用
@article{arxiv.2303.09877,
title = {On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering},
author = {Daniel J. Trosten and Sigurd Løkse and Robert Jenssen and Michael C. Kampffmeyer},
journal= {arXiv preprint arXiv:2303.09877},
year = {2023}
}
备注
CVPR 2023. Code available at https://github.com/DanielTrosten/DeepMVC