基于聚类的对比解耦用于广义零样本学习
计算机视觉与模式识别
2022-03-08 v1
摘要
广义零样本学习（GZSL）旨在仅通过训练可见类来识别可见与不可见类，其中不可见类的实例往往偏向可见类。本文提出一种基于聚类的对比解耦（CCD）方法，通过缓解语义鸿沟和域偏移问题来改进GZSL。具体而言，我们首先对批次数据进行聚类，形成若干包含相似类的集合。然后，我们将视觉特征解耦为语义无关变量和语义匹配变量，并根据聚类结果进一步将语义匹配变量解耦为类共享变量和类独有变量。带有随机交换和语义-视觉对齐的解耦学习模块弥合了语义鸿沟。此外，我们在语义匹配和类独有变量上引入对比学习，以学习高的集合内和类内相似性，以及集合间和类间可判别性。于是，生成的视觉特征符合通用图像的潜在特性并具有较强的判别信息，从而很好地缓解了域偏移问题。我们在四个数据集上评估了所提方法，并在常规和广义设定下均取得了最先进的（state-of-the-art）结果。
引用
@article{arxiv.2203.02648,
title = {Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning},
author = {Yi Gao and Chenwei Tang and Jiancheng Lv},
journal= {arXiv preprint arXiv:2203.02648},
year = {2022}
}