基于标签图叠加的多标签分类
计算机视觉与模式识别
2019-11-22 v1
摘要
图像或视频总是包含多个对象或动作。多标签识别已因深度学习技术的快速发展而被见证取得了相当好的性能。近来，图卷积网络（GCN）被用于提升多标签识别的性能。然而，标签相关性建模的最佳方式为何，以及特征学习如何借助标签系统感知得以改进，仍不明确。本文提出一种标签图叠加框架，从以下两方面改进为多标签识别开发的常规 GCN+CNN 框架。首先，我们通过将基于统计共现信息构建的标签图叠加到由标签知识先验构建的图上以建模标签相关性，然后在最终叠加图上应用多层图卷积进行标签嵌入抽象。其次，我们提出利用整个标签系统的嵌入以获得更好的表示学习。具体而言，在浅、中、深三层添加 GCN 与 CNN 之间的横向连接，将标签系统信息注入骨干 CNN，以在特征学习过程中实现标签感知。在 MS-COCO 与 Charades 数据集上开展了充分实验，表明我们所提方案能大幅提升识别性能并达到新的 SOTA 识别性能。
引用
@article{arxiv.1911.09243,
title = {Multi-Label Classification with Label Graph Superimposing},
author = {Ya Wang and Dongliang He and Fu Li and Xiang Long and Zhichao Zhou and Jinwen Ma and Shilei Wen},
journal= {arXiv preprint arXiv:1911.09243},
year = {2019}
}
备注
AAAI 2020