基于跨模态CycleGAN的直推式零样本学习
计算机视觉与模式识别
2020-11-16 v1 人工智能
摘要
在计算机视觉中，零样本学习（ZSL）旨在对未见类——即不存在匹配训练图像的类别——进行分类。大多数ZSL工作为可见类学习图像与类标签之间的跨模态映射。然而，可见类与未见类的数据分布可能不同，导致域偏移问题。基于该观察，直推式零样本学习（T-ZSL）假设在训练期间已知未见类及其关联图像，但不知其对应关系。由于当前T-ZSL方法在可见类数量较多时无法高效扩展，我们利用基于CycleGAN的新模型解决此问题。我们的模型联合（i）以有监督目标将图像投影到其可见类标签上，以及（ii）以对抗和循环一致性目标对齐未见类标签与视觉样本。我们在ImageNet T-ZSL任务上展示了我们的跨模态CycleGAN模型（CM-GAN）的效率，取得了最先进的结果。我们进一步在语言定位任务以及我们提出的一项新任务——MS COCO上的零样本句子到图像匹配——上验证了CM-GAN。
引用
@article{arxiv.2011.06850,
title = {Transductive Zero-Shot Learning using Cross-Modal CycleGAN},
author = {Patrick Bordes and Eloi Zablocki and Benjamin Piwowarski and Patrick Gallinari},
journal= {arXiv preprint arXiv:2011.06850},
year = {2020}
}