面向广义零样本学习的对比嵌入
计算机视觉与模式识别
2021-03-31 v1 人工智能
摘要
广义零样本学习（GZSL）旨在仅提供可见类的标注样本的情况下，识别来自可见类和不可见类的对象。近期的特征生成方法学习一个生成模型，可合成不可见类缺失的视觉特征，以缓解 GZSL 中的数据不平衡问题。然而，原始视觉特征空间对于 GZSL 分类是次优的，因为它缺乏判别信息。为解决此问题，我们提出将生成模型与嵌入模型相集成，从而产生一个混合 GZSL 框架。该混合 GZSL 方法将由生成模型生成的真实样本和合成样本映射到一个嵌入空间，我们在该空间中执行最终的 GZSL 分类。具体而言，我们为混合 GZSL 框架提出一种对比嵌入（CE）。所提出的对比嵌入不仅能利用类级监督，还能利用实例级监督，而后者通常被现有 GZSL 研究所忽视。我们在五个基准数据集上评估了所提出的带对比嵌入的混合 GZSL 框架，称为 CE-GZSL。结果表明，我们的 CE-GZSL 方法在三个数据集上显著优于当前最优方法（SOTA）。我们的代码可在 https://github.com/Hanzy1996/CE-GZSL 获取。
引用
@article{arxiv.2103.16173,
title = {Contrastive Embedding for Generalized Zero-Shot Learning},
author = {Zongyan Han and Zhenyong Fu and Shuo Chen and Jian Yang},
journal= {arXiv preprint arXiv:2103.16173},
year = {2021}
}
备注
Accepted by CVPR2021