GM-MLIC:基于图匹配的多标签图像分类
计算机视觉与模式识别
2021-12-28 v2 人工智能
摘要
多标签图像分类(MLIC)旨在预测图像中存在的标签集合。处理该问题的关键在于挖掘图像内容与标签之间的关联,并进一步获得图像与其标签之间的正确分配。本文将每幅图像视为实例包,并将 MLIC 任务重新表述为实例–标签匹配选择问题。为建模该问题,我们提出一种名为基于图匹配的多标签图像分类(GM-MLIC)的新型深度学习框架,其中引入了图匹配(GM)方案,因其出色的挖掘实例与标签关系的能力。具体而言,我们首先分别构建实例空间图和标签语义图,然后通过将所有实例连接到所有标签,将其并入所构建的分配图中。随后,采用图网络块在分配图上聚合并更新所有节点和边的状态,以形成每个实例和标签的结构化表示。我们的网络最终为每个实例–标签对应导出预测分数,并以加权交叉熵损失优化该对应。在各种图像数据集上进行的大量实验证明了我们所提方法的优越性。
引用
@article{arxiv.2104.14762,
title = {GM-MLIC: Graph Matching based Multi-Label Image Classification},
author = {Yanan Wu and He Liu and Songhe Feng and Yi Jin and Gengyu Lyu and Zizhang Wu},
journal= {arXiv preprint arXiv:2104.14762},
year = {2021}
}
备注
Accepted by International Joint Conferences on Artificial Intelligence (IJCAI-2021)