生成式多标签零样本学习
计算机视觉与模式识别
2023-08-01 v3
摘要
多标签零样本学习致力于将图像分类为多个在训练期间无可用数据的未见类别。在广义变体中，测试样本还可包含可见类别。现有方法依赖于从可见类别学习共享或标签特定的注意力。然而，在多标签设置下推理时计算未见类别的可靠注意力图仍具挑战。相比之下，最先进的基于单标签生成对抗网络（GAN）的方法学习直接从相应的类别属性嵌入合成特定类别的视觉特征。然而，在零样本设置下从 GAN 合成多标签特征仍未被探索。在这项工作中，我们引入属性级、特征级和跨级（跨属性与特征级）的不同融合方法，从其对应的多标签类别嵌入合成多标签特征。据我们所知，我们的工作是首个解决（广义）零样本设置下多标签特征合成问题的。我们在三个零样本图像分类基准上进行了全面实验：NUS-WIDE、Open Images 和 MS COCO。我们基于跨级融合的生成方法在所有三个数据集上均优于最先进水平。此外，我们展示了我们的融合方法在 MS COCO 零样本检测任务中的泛化能力，取得了优于现有方法的有利性能。源代码可在 https://github.com/akshitac8/Generative_MLZSL 获取。
引用
@article{arxiv.2101.11606,
title = {Generative Multi-Label Zero-Shot Learning},
author = {Akshita Gupta and Sanath Narayan and Salman Khan and Fahad Shahbaz Khan and Ling Shao and Joost van de Weijer},
journal= {arXiv preprint arXiv:2101.11606},
year = {2023}
}
备注
Accepted by TPAMI: https://ieeexplore.ieee.org/document/10184028