利用图网络学习类别相关性用于多标签图像识别
计算机视觉与模式识别
2019-10-01 v1
摘要
多标签图像识别是一项预测图像中一组物体标签的任务。由于物体在实际世界中共同出现，建模标签依赖关系是可取的。已有的先前方法为此求助于循环网络或预定义的标签相关性图。本文中，我们不使用可能不灵活且对多标签分类次优的预定义图，而是提出 A-GCN，它利用流行的图卷积网络与自适应标签相关性图来建模标签依赖。具体而言，我们引入一个即插即用的标签图 (LG) 模块，以词嵌入学习标签相关性，然后利用传统 GCN 将该图映射为标签依赖的物体分类器并进一步应用于图像特征。基础 LG 模块包含两个 1x1 卷积层并使用点积生成标签图。此外，我们提出稀疏相关性约束以增强 LG 模块，并探索了不同的 LG 架构。我们在两个多样化的多标签数据集 MS-COCO 与 Fashion550K 上验证了方法。实验结果表明，我们的 A-GCN 显著改进基线方法，并取得了优于或媲美当前最优 (SOTA) 的性能。
引用
@article{arxiv.1909.13005,
title = {Learning Category Correlations for Multi-label Image Recognition with Graph Networks},
author = {Qing Li and Xiaojiang Peng and Yu Qiao and Qiang Peng},
journal= {arXiv preprint arXiv:1909.13005},
year = {2019}
}
备注
8 pages, 4 figures