通过语义嵌入与知识图谱实现零样本识别
计算机视觉与模式识别
2018-04-10 v2 计算与语言
摘要
我们考虑零样本识别问题：在零训练样本的情况下，仅使用类别的词嵌入及其与已提供视觉数据的其他类别之间的关系，为该类别学习视觉分类器。处理不熟悉或新类别的关键在于，将从熟悉类别获取的知识迁移以描述不熟悉的类别。在本文中，我们基于最近引入的图卷积网络（GCN），提出了一种同时使用语义嵌入和类别关系来预测分类器的方法。给定一个已学习的知识图谱（KG），我们的方法将每个节点（代表视觉类别）的语义嵌入作为输入。经过一系列图卷积后，我们预测每个类别的视觉分类器。在训练期间，给定少数类别的视觉分类器以学习 GCN 参数。在测试时，这些滤波器用于预测未见类别的视觉分类器。我们表明我们的方法对 KG 中的噪声具有鲁棒性。更重要的是，与当前最优结果相比，我们的方法在性能上提供了显著提升（在某些指标上提升 2~3%，在少数指标上高达 20%）。
引用
@article{arxiv.1803.08035,
title = {Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs},
author = {Xiaolong Wang and Yufei Ye and Abhinav Gupta},
journal= {arXiv preprint arXiv:1803.08035},
year = {2018}
}
备注
CVPR 2018