用于零样本学习的双语义重构生成网络
计算机视觉与模式识别
2020-01-07 v3 机器学习
摘要
许多近期的零样本学习(ZSL)方法尝试利用生成模型从语义描述和随机噪声生成未见视觉样本。因此,ZSL 问题转化为传统的监督分类问题。然而,现有大多数基于生成模型的方法仅在训练阶段关注合成样本的质量,忽视了零样本识别阶段的重要性。本文同时考虑上述两点并提出一种新方法。具体地,我们选用生成对抗网络(GAN)作为生成模型。为提升合成样本质量,考虑到语义空间中语义描述的内在关联,以及所见与未见视觉信息分属不同域的事实,我们提出双语义重构(BSR)组件,其包含两个不同语义重构回归器以引导 GAN 的训练。由于训练阶段语义描述可用,为进一步提升分类器能力,我们结合视觉样本与语义描述训练分类器。在识别阶段,我们自然地利用 BSR 组件迁移视觉特征与语义描述,并将其拼接用于分类。实验结果表明,我们的方法在多个 ZSL 基准数据集上以显著优势超越现有最优方法。
引用
@article{arxiv.1912.03877,
title = {Bi-Semantic Reconstructing Generative Network for Zero-shot Learning},
author = {Shibing Xu and Zishu Gao and Guojun Xie},
journal= {arXiv preprint arXiv:1912.03877},
year = {2020}
}
备注
9 pages, 6 figures