全局遇局部:基于类别感知弱监督的高效多标签图像分类
计算机视觉与模式识别
2022-11-24 v1
摘要
多标签图像分类可划分为标签依赖方法和基于区域的方法,由于底层物体布局复杂,是一个具有挑战性的问题。尽管基于区域的方法比标签依赖方法更不容易遇到模型泛化性问题,但它们常生成数百个含非判别性信息的无意义或噪声候选框,且局部区域间的上下文依赖常被忽略或过度简化。本文构建统一框架以执行有效的噪声候选框抑制,并在全局与局部特征间进行交互以实现鲁棒特征学习。具体而言,我们提出类别感知弱监督,聚焦于不存在的类别,从而为局部特征学习提供确定性信息,限制局部分支关注更高质量的感兴趣区域。此外,我们设计跨粒度注意力模块以探索全局与局部特征间的互补信息,其可建立不仅包含全局到局部、也包含局部到局部关系的高阶特征关联。这两方面优势共同保障了整个网络性能的提升。在 MS-COCO 和 VOC 2007 两个大规模数据集上的大量实验表明,我们的框架取得了优于最先进方法的性能。
引用
@article{arxiv.2211.12716,
title = {Global Meets Local: Effective Multi-Label Image Classification via Category-Aware Weak Supervision},
author = {Jiawei Zhan and Jun Liu and Wei Tang and Guannan Jiang and Xi Wang and Bin-Bin Gao and Tianliang Zhang and Wenlong Wu and Wei Zhang and Chengjie Wang and Yuan Xie},
journal= {arXiv preprint arXiv:2211.12716},
year = {2022}
}
备注
12 pages, 10 figures, published in ACMMM 2022