面向零样本图像分类的类别知识叠加至视觉特征学习
计算机视觉与模式识别
2021-03-01 v1 人工智能
摘要
在零样本图像分类中，可通过将语义特征转化为合成视觉特征而无需对应训练样本来发现新类别。尽管利用生成对抗网络生成高质量合成视觉特征已取得显著进展，但保证语义特征与视觉特征之间的语义一致性仍非常具有挑战性。本文提出一种新颖的零样本学习方法 GAN-CST，基于类别知识到视觉特征学习以解决该问题。该方法由三部分组成：类别知识叠加、半监督学习和三元组损失。它应用类别知识叠加（CKO）不仅从对应类别获取知识，还从具有知识叠加的其他类别获取知识。它确保知识到视觉的学习过程拥有充足信息以生成合成视觉特征。该方法还应用半监督学习过程重新训练知识到视觉模型，有助于强化合成视觉特征生成以及新类别预测。我们在多个基准数据集上列出了结果，表明所提模型优于最先进的方法。
引用
@article{arxiv.2102.13322,
title = {Class Knowledge Overlay to Visual Feature Learning for Zero-Shot Image Classification},
author = {Cheng Xie and Ting Zeng and Hongxin Xiang and Keqin Li and Yun Yang and Qing Liu},
journal= {arXiv preprint arXiv:2102.13322},
year = {2021}
}