CIZSL++：受创造力启发的生成式零样本学习
摘要
零样本学习（ZSL）旨在利用类级描述对无训练样本的未见类别进行识别。为提升 ZSL 的判别能力，我们受人类创造新颖艺术之心理学启发，对未见类别的视觉学习过程进行建模。首先，我们提出 CIZSL-v1 作为一种受创造力启发的生成式 ZSL 模型。我们通过观察到 ZSL 关乎识别未见之物、而创造力关乎创造令人喜爱的未见之物，将 ZSL 与人类的创造力相联系。我们引入一种受创造力文献启发的训练信号，该信号利用幻觉化的类描述探索未见空间，并鼓励其视觉特征生成相对于可见类别的谨慎偏离，同时允许从可见类别到未见类别的知识迁移。其次，我们提出 CIZSL-v2 作为 CIZSL-v1 的改进版用于生成式零样本学习。CIZSL-v2 包含对未见类别的额外归纳损失以及一种语义引导判别器的探究。实证上，我们一致表明 CIZSL 损失能够提升生成式 ZSL 模型在 CUB 和 NABirds 数据集上基于含噪文本的广义 ZSL 这一挑战性任务中的表现。我们还展示了我们的方法在 AwA2、aPY 和 SUN 数据集上相对于基于属性的 ZSL 的优势。我们也表明 CIZSL-v2 相比 CIZSL-v1 具有改进的性能。
引用
@article{arxiv.2101.00173,
title = {CIZSL++: Creativity Inspired Generative Zero-Shot Learning},
author = {Mohamed Elhoseiny and Kai Yi and Mohamed Elfeki},
journal= {arXiv preprint arXiv:2101.00173},
year = {2021}
}
备注
This paper is an extended version of a paper published on the International Conference on Computer Vision (ICCV), held in Seoul, Republic of Korea, October 27-Nov 2nd, 2019 CIZSL-v2 code is available here https://github.com/Vision-CAIR/CIZSLv2. arXiv admin note: substantial text overlap with arXiv:1904.01109