基于片段的原型生成网络用于零样本学习
计算机视觉与模式识别
2020-04-03 v2
摘要
我们提出了一种简单而有效的基于片段的零样本学习（ZSL）训练框架，其中学习系统仅给定相应类别的语义信息即需识别未见类别。在训练过程中，模型在一组片段上进行训练，每个片段被设计为模拟一个零样本分类任务。通过训练多个片段，模型逐步积累关于预测模拟未见类别的集成经验，这些经验可良好地泛化至真实未见类别。基于该训练框架，我们提出了一种新颖的生成模型，该模型以类别语义原型为条件合成视觉原型。所提模型通过将视觉原型生成与类别语义推断构建为对抗框架，并配合参数经济的多模态交叉熵损失（Multi-modal Cross-Entropy Loss）来对齐视觉-语义交互以捕获判别性信息。在四个数据集上的传统 ZSL 与广义 ZSL 任务的大量实验表明，我们的模型大幅优于当前最优方法。
引用
@article{arxiv.1909.03360,
title = {Episode-based Prototype Generating Network for Zero-Shot Learning},
author = {Yunlong Yu and Zhong Ji and Zhongfei Zhang and Jungong Han},
journal= {arXiv preprint arXiv:1909.03360},
year = {2020}
}