无数据广义零样本学习
计算机视觉与模式识别
2024-01-30 v1
摘要
深度学习模型具备从大规模数据集中提取丰富知识的能力。然而，由于对数据版权和隐私的担忧，数据共享变得日益困难。因此，这阻碍了从现有数据向新的下游任务和概念的有效知识迁移。零样本学习（ZSL）方法旨在通过迁移从基类学到的语义知识来识别新类。然而，传统的生成式 ZSL 方法通常需要访问基类的真实图像并依赖人工标注的属性，这在数据限制和模型可扩展性方面带来了挑战。为此，本文研究了一个具有挑战性且实用的难题，称为无数据零样本学习（DFZSL），其中仅可使用基于 CLIP 的基类数据预训练分类器进行零样本分类。具体而言，我们提出了一个用于 DFZSL 的通用框架，由三个主要部分组成。首先，为了恢复基数据的虚拟特征，我们基于预训练分类器将基类图像的 CLIP 特征建模为来自 von Mises-Fisher (vMF) 分布的样本。其次，我们利用 CLIP 的文本特征作为低成本的语义信息，并提出了一种特征-语言提示微调（FLPT）方法，以进一步对齐虚拟图像特征和文本特征。第三，我们使用对齐良好的虚拟图像特征和相应的语义文本特征训练条件生成模型，从而能够生成新类特征并实现更好的零样本泛化。我们的框架在广义 ZSL 的五个常用基准以及基类到新类 ZSL 的 11 个基准上进行了评估。结果证明了我们方法的优越性和有效性。我们的代码可在 https://github.com/ylong4/DFZSL 获取。
引用
@article{arxiv.2401.15657,
title = {Data-Free Generalized Zero-Shot Learning},
author = {Bowen Tang and Long Yan and Jing Zhang and Qian Yu and Lu Sheng and Dong Xu},
journal= {arXiv preprint arXiv:2401.15657},
year = {2024}
}
备注
Accepted by AAAI24