通过从外部知识学习迁移实现多标签零样本分类
计算机视觉与模式识别
2020-08-03 v2
摘要
多标签零样本分类旨在为输入图像预测多个未见过类别的标签。它比单标签对应任务更具挑战性。一方面，每张图像所分配标签数量不受约束，使模型更易对所见类别过拟合。另一方面，现有多标签分类数据集中所见与未见类别间存在较大语义鸿沟。为解决这些难题，本文引入一种新颖的通过从外部知识学习迁移的多标签零样本分类框架。我们观察到 ImageNet 常用于预训练特征提取器且具备庞大而细粒度的标签空间。这促使我们将其作为外部知识来桥接所见与未见类别并提升泛化能力。具体而言，我们构建了一个不仅包含目标数据集类别还包含 ImageNet 类别的知识图。由于目标数据集中无 ImageNet 标签，我们提出一种新颖的 PosVAE 模块来推断扩展知识图中它们的初始状态。随后我们设计了一种关系图卷积网络(RGCN)以在类别间传播信息并实现知识迁移。在两个基准数据集上的实验结果证明了所提方法的有效性。
引用
@article{arxiv.2007.15610,
title = {Multi-label Zero-shot Classification by Learning to Transfer from External Knowledge},
author = {He Huang and Yuanwei Chen and Wei Tang and Wenhao Zheng and Qing-Guo Chen and Yao Hu and Philip Yu},
journal= {arXiv preprint arXiv:2007.15610},
year = {2020}
}