图像聚类的层次语义对齐

图像聚类是计算机视觉中的经典问题，将图像分类为不同的组。近期研究利用名词作为外部语义知识以提高聚类性能，但这些方法常常忽视名词固有的模糊性，这会扭曲语义表示并降低聚类质量。为此，我们提出一种称为CAE的方法，用于图像聚类的层次语义对齐，能够以无训练方式提高聚类性能。在我们的方法中，我们纳入两种互补的文本语义：描述符级别的描述， Convey 图像内容的细粒度属性；名词级别的概念， Represent 高层次对象类别。我们首先从WordNet中筛选相关名词，从描述数据集中获取描述，以构建与图像特征对齐的语义空间。随后，通过最优传输对图像特征与所选名词和描述进行对齐，以获得更具辨识度的语义空间。最后，我们将增强后的语义特征与图像特征组合，以执行聚类。在8个数据集上的广泛实验表明，我们方法的有效性显著优于最新的无训练方法，在ImageNet-1K数据集上在准确率提高4.2%，在调整后随机指数(ARI)提高2.9%。