用于多标签图像分类的图注意力Transformer网络
计算机视觉与模式识别
2024-01-17 v2
摘要
多标签分类旨在从图像中识别多个对象或属性。然而，从合适的标签图中学习以有效刻画标签间的此类相关性或依赖关系具有挑战性。当前方法常基于训练集的标签共现概率作为邻接矩阵来建模该相关性，这极大受限于数据集并影响模型的泛化能力。本文提出图注意力Transformer网络（GATN），一种用于多标签图像分类的通用框架，可有效挖掘复杂的标签间关系。首先，我们使用基于标签词嵌入的余弦相似度作为初始相关性矩阵，其能表示丰富的语义信息。随后，我们设计图注意力Transformer层以迁移该邻接矩阵以适应当前域。我们的大量实验表明，所提方法在三个数据集上取得了最先进的性能。
引用
@article{arxiv.2203.04049,
title = {Graph Attention Transformer Network for Multi-Label Image Classification},
author = {Jin Yuan and Shikai Chen and Yao Zhang and Zhongchao Shi and Xin Geng and Jianping Fan and Yong Rui},
journal= {arXiv preprint arXiv:2203.04049},
year = {2024}
}