利用生成式零样本学习的不变侧
计算机视觉与模式识别
2019-04-09 v1
摘要
传统的零样本学习（ZSL）方法通常学习一种嵌入（如视觉-语义映射），以间接方式处理未见视觉样本。本文中，我们利用生成对抗网络（GANs）的优势，提出一种新方法，称为利用不变侧 GAN（LisGAN），它可直接从由语义描述条件化的随机噪声生成未见特征。具体而言，我们训练一个条件 Wasserstein GANs，其中生成器从噪声合成虚假的未见特征，判别器通过极小极大博弈区分虚假与真实。考虑到一条语义描述可对应多种合成的视觉样本，且语义描述形象地说是生成特征的灵魂，我们在本文中引入灵魂样本作为生成式零样本学习的不变侧。灵魂样本是一类的元表示，它可视化了同一类别中每个样本最具语义意义的部分。我们正则化每个生成的样本（生成式 ZSL 的可变侧）应至少接近一个与之类别标签相同的灵魂样本（不变侧）。在零样本识别阶段，我们提出使用以级联方式部署的两个分类器，以获得由粗到细的结果。在五个流行基准上的实验验证了我们所提方法能以显著改进超越最先进（state-of-the-art）方法。
引用
@article{arxiv.1904.04092,
title = {Leveraging the Invariant Side of Generative Zero-Shot Learning},
author = {Jingjing Li and Mengmeng Jin and Ke Lu and Zhengming Ding and Lei Zhu and Zi Huang},
journal= {arXiv preprint arXiv:1904.04092},
year = {2019}
}
备注
Accepted in CVPR 2019