面向通用图像识别的知识引导多标签少样本学习
计算机视觉与模式识别
2020-09-22 v1
摘要
识别图像的多重标签是一项实用且具有挑战性的任务，通过搜索语义区域和利用标签依赖关系已取得显著进展。然而，现有工作利用 RNN/LSTM 隐式捕捉序列化的区域/标签依赖，无法充分探索语义区域/标签间的相互交互，也未显式地整合标签共现关系。此外，这些工作对每个类别需要大量训练样本，且无法泛化到样本有限的 novel 类别。为解决这些问题，我们提出一种知识引导图路由（KGGR）框架，将统计标签相关性的先验知识与深度神经网络相统一。该框架利用先验知识引导不同类别间的自适应信息传播，以促进多标签分析并降低对训练样本的依赖。具体而言，它首先基于统计标签共现构建结构化知识图以关联不同标签；随后引入标签语义引导学习特定语义特征来初始化图，并利用图传播网络探索图节点交互，从而学习上下文化的图像特征表示。此外，我们用对应标签的分类器权重初始化每个图节点，并应用另一传播网络通过图传递节点消息。以此方式，可促进利用相关标签的信息来帮助训练更好的分类器。我们在传统的多标签图像识别（MLR）和多标签少样本学习（ML-FSL）任务上进行了大量实验，结果表明我们的 KGGR 框架在公开基准上以可观的幅度优于当前最先进（SOTA）方法。
引用
@article{arxiv.2009.09450,
title = {Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition},
author = {Tianshui Chen and Liang Lin and Riquan Chen and Xiaolu Hui and Hefeng Wu},
journal= {arXiv preprint arXiv:2009.09450},
year = {2020}
}
备注
Accepted at TPAMI