面向部分标签多标签识别的异质语义迁移

部分标签多标签图像识别（MLR-PL）中，每幅图像的部分标签已知而其余未知，可大幅降低标注成本从而推动大规模 MLR。我们发现每幅图像内部及不同图像之间存在强语义关联，这些关联有助于将已知标签所蕴含的知识迁移以检索未知标签，从而提升 MLR-PL 任务性能（见图 1）。本工作中，我们提出一种新颖的异质语义迁移（HST）框架，其由两个互补的迁移模块组成，分别挖掘图像内与跨图像的语义关联，将已知标签蕴含的知识迁移以为未知标签生成伪标签。具体而言，图像内语义迁移（IST）模块为每幅图像学习一个图像特定的标签共现矩阵，并基于这些矩阵将已知标签映射以补全未知标签。此外，跨图像迁移（CST）模块学习类别特定的特征-原型相似度，进而帮助补全与相应原型相似度高的未知标签。最后，已知标签与生成的伪标签均用于训练 MLR 模型。在 Microsoft COCO、Visual Genome 和 Pascal VOC 2007 数据集上的大量实验表明，所提 HST 框架性能优于当前最优算法。具体而言，相较于已有最优算法，其在三个数据集上的平均精度均值（mAP）分别提升 1.4%、3.3% 和 0.4%。