利用对比学习对图像数据集进行无监督可视化

基于最近邻图的可视化方法,如t-SNE或UMAP,被广泛用于高维数据可视化。然而,这些方法仅当最近邻本身有意义时才会产生有意义的结果。对于以像素空间表示的图像而言并非如此,因为像素空间中的距离往往不能捕捉我们的相似感,因此邻居在语义上并不接近。该问题可通过基于对比学习的自监督方法(如SimCLR)规避,其依赖数据增强生成隐式邻居,但这些方法不产生适用于可视化的二维嵌入。在此,我们提出一种称为t-SimCNE的新方法,用于图像数据的无监督可视化。t-SimCNE结合了对比学习和邻域嵌入的思想,并训练从高维像素空间到二维的参数化映射。我们展示所得的2D嵌入实现了与最先进高维SimCLR表示相当的分类精度,从而忠实捕捉语义关系。利用t-SimCNE,我们获得了CIFAR-10和CIFAR-100数据集的信息丰富可视化,显示出丰富的聚类结构并突出了伪影与离群点。