面向单正多标签识别的语义对比引导方法

学习具有不完整标注的多标签图像识别因相比全标注数据集训练具有更优性能和显著省力而日益流行。现有文献主要关注标签补全和共现学习，却在处理最常见的单正标签方式时面临困难。为解决这个问题，我们提出一种语义对比引导（Scob）方法，通过引入类激活作为语义指导来逐步恢复跨物体关系。借助该学习指导，我们进一步提出一种循环语义掩码 Transformer 来提取标志性物体级表示，并深入探讨多标签分类任务上的对比学习问题。我们进而提出一种期望最大化形式的引导框架，迭代优化网络参数并精炼语义指导，以缓解错误语义指导可能引起的干扰。大量实验结果表明，所提联合学习框架在四个公开多标签图像识别基准上大幅超越最先进模型。代码见 https://github.com/iCVTEAM/Scob。