面向广义零样本学习的双层对抗视觉-语义耦合
计算机视觉与模式识别
2020-12-01 v2 机器学习
摘要
生成式零样本方法的性能主要取决于生成特征的质量以及模型在视觉与语义域之间促进知识迁移的程度。生成特征的质量是模型捕捉底层数据分布多个模态能力的直接结果。为解决这些问题，我们提出一种新的双层联合最大化思想，在训练过程中用一个推断网络来增强生成网络，这有助于我们的模型捕捉数据的多个模态并生成更能代表底层数据分布的特征。这为视觉与语义域之间有效的知识迁移提供了强跨模态交互。此外，现有方法要么在生成的合成图像特征上训练零样本分类器，要么利用表示学习产生的潜在嵌入来训练。在本工作中，我们将这些范式统一到单一模型中，该模型除合成图像特征外，还利用推断网络的表示学习能力为零样本识别最终任务提供判别性特征。我们在四个基准数据集（即 CUB、FLO、AWA1 和 AWA2）上针对若干最先进的方法评估了我们的方法，并展示了其性能。我们还进行了消融研究，以更仔细地分析和理解我们的方法在广义零样本学习任务上的表现。
引用
@article{arxiv.2007.07757,
title = {Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot Learning},
author = {Shivam Chandhok and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2007.07757},
year = {2020}
}
备注
Under Submission