CANZSL：用于自然语言零样本学习的循环一致对抗网络
计算机视觉与模式识别
2019-09-24 v1 多媒体
摘要
现有使用生成对抗方法进行零样本学习（ZSL）的工作旨在通过单一生成网络从类别语义生成逼真的视觉特征，这高度欠约束。因此，先前的方法无法保证生成的视觉特征能真实反映相应语义。为解决此问题，我们提出一种名为用于零样本学习的循环一致对抗网络（CANZSL）的新方法。它鼓励视觉特征生成器从语义合成逼真视觉特征，然后由语义特征生成器将合成的视觉特征逆翻译回相应语义空间。此外，本文考虑了一个更具挑战性且更实际的 ZSL 问题，其中原始语义来自带有无关词的自然语言，而非先前工作中广泛使用的干净语义。具体而言，训练一个多模态一致双向生成对抗网络，通过利用自然语言中的噪声来处理未见实例。从一条文本描述到多个视觉特征的前向一对多映射，与从视觉空间到语义空间的反向多对一映射相耦合。由此，可学习并利用合成语义表示与真值之间的多模态循环一致性损失，以强制生成的语义特征逼近语义空间中的真实分布。大量实验表明，我们的方法在自然语言零样本学习任务上持续优于最先进的方法。
引用
@article{arxiv.1909.09822,
title = {CANZSL: Cycle-Consistent Adversarial Networks for Zero-Shot Learning from Natural Language},
author = {Zhi Chen and Jingjing Li and Yadan Luo and Zi Huang and Yang Yang},
journal= {arXiv preprint arXiv:1909.09822},
year = {2019}
}
备注
WACV 2020