面向多标签图像分类的语义感知双对比学习
计算机视觉与模式识别
2023-09-26 v4
摘要
由于自然图像场景内容复杂且标签依赖易混淆，有效提取图像语义并为多个对象或属性分配相应标签颇具挑战。近期工作聚焦于用图建模标签关系并用类激活图（CAM）理解对象区域。然而，这些方法忽略了特定语义特征间复杂的类内与类间关系，且 CAM 易生成噪声信息。为此，我们提出一种新颖的语义感知双对比学习框架，融合样本到样本对比学习（SSCL）与原型到样本对比学习（PSCL）。具体而言，我们利用语义感知表示学习提取类别相关的局部判别特征并构建类别原型。然后基于 SSCL，将同类别的标签级视觉表示聚合在一起，并将属于不同类别的特征分离。同时，我们构建新颖的 PSCL 模块以缩小正样本与类别原型的距离，并将负样本推离相应类别原型。最后，通过上述三部分的联合训练精确捕获与图像内容相关的判别性标签级特征。在五个具挑战性的大规模公开数据集上的实验表明，我们所提方法有效且优于当前最优（state-of-the-art）方法。代码与补充材料发布于 https://github.com/yu-gi-oh-leilei/SADCL。
引用
@article{arxiv.2307.09715,
title = {Semantic-Aware Dual Contrastive Learning for Multi-label Image Classification},
author = {Leilei Ma and Dengdi Sun and Lei Wang and Haifeng Zhao and Bin Luo},
journal= {arXiv preprint arXiv:2307.09715},
year = {2023}
}
备注
8 pages, 6 figures, accepted by European Conference on Artificial Intelligence (2023 ECAI)