面向多标签分类的实例感知图卷积网络
计算机视觉与模式识别
2020-08-20 v1
摘要
图卷积神经网络（GCN）通过基于数据的统计标签共现引入标签依赖，有效提升了多标签图像识别任务。然而，在以往方法中，标签相关性是基于数据的统计信息计算的，因此对所有样本相同，这使得标签上的图推断不足以处理众多图像实例间的巨大差异。本文提出一种用于多标签分类的实例感知图卷积神经网络（IA-GCN）框架。整体上，框架包含两条融合的子网络分支：建模整幅图像的全局分支与探索感兴趣区域（ROIs）间依赖的基于区域的分支。对于图卷积中实例感知的标签扩散，不同于仅使用统计标签相关矩阵，我们构建融合统计LCM与每图像个体LCM的图像依赖标签相关矩阵（LCM）用于标签图推断，将标签感知的自适应信息注入模型所学特征。具体而言，每图像的个体LCM通过基于检测到的ROI的标签得分挖掘标签依赖获得。此过程中，考虑ROI对多标签分类的贡献差异，引入变分推断通过学习这些ROI的自适应缩放因子以考量其复杂分布。最后，在MS-COCO与VOC数据集上的大量实验表明，我们所提方法优于现有最先进方法。
引用
@article{arxiv.2008.08407,
title = {Instance-Aware Graph Convolutional Network for Multi-Label Classification},
author = {Yun Wang and Tong Zhang and Zhen Cui and Chunyan Xu and Jian Yang},
journal= {arXiv preprint arXiv:2008.08407},
year = {2020}
}