用于部分标签多标签识别的结构化语义迁移
计算机视觉与模式识别
2022-03-07 v3
摘要
多标签图像识别是一项基础而实用的任务，因为真实世界图像天然具有多个语义标签。然而，由于输入图像和输出标签空间的复杂性，难以收集大规模多标签标注。为降低标注成本，我们提出了一种结构化语义迁移（SST）框架，该框架支持使用部分标签训练多标签识别模型，即每幅图像仅已知部分标签而其他标签缺失（也称为未知标签）。该框架由两个互补的迁移模块组成，探索图像内和跨图像的语义关联，将已知标签的知识迁移以生成未知标签的伪标签。具体而言，图像内语义迁移模块学习特定图像的标签共现矩阵，并基于该矩阵将已知标签映射以补全未知标签。同时，跨图像迁移模块学习类别特定的特征相似度，并借助高相似度帮助补全未知标签。最后，已知标签与生成的标签均用于训练多标签识别模型。在 Microsoft COCO、Visual Genome 和 Pascal VOC 数据集上的大量实验表明，所提出的 SST 框架优于当前最先进的算法。代码见 https://github.com/HCPLab-SYSU/HCP-MLR-PL。
引用
@article{arxiv.2112.10941,
title = {Structured Semantic Transfer for Multi-Label Recognition with Partial Labels},
author = {Tianshui Chen and Tao Pu and Hefeng Wu and Yuan Xie and Liang Lin},
journal= {arXiv preprint arXiv:2112.10941},
year = {2022}
}
备注
Accepted by AAAI'22