通过无监督知识蒸馏改进学习提示的零样本泛化能力
计算机视觉与模式识别
2024-07-31 v2 人工智能
机器学习
摘要
视觉语言模型(VLM)在未见任务上展现出卓越的零样本泛化能力,但在有限数据下泛化到下游任务时,其性能不及监督方法。提示学习正成为一种参数高效的VLM适配方法,但最先进的方法需要标注样本。在本文中,我们提出了一种基于从更强大模型进行无监督知识蒸馏的提示学习新方法。我们的方法称为知识蒸馏提示学习(KDPL),可以集成到现有的提示学习技术中,并消除了适配过程中对标注样本的需求。我们在超过十个标准基准数据集上的实验表明,KDPL在改进学习提示的泛化能力方面非常有效,适用于零样本域泛化、零样本跨数据集泛化和零样本基类到新类泛化问题。KDPL不需要真实标签进行适配,此外,我们表明即使在完全不知道训练类别名称的情况下,它也可以用于有效迁移知识。代码公开在 https://github.com/miccunifi/KDPL。
引用
@article{arxiv.2407.03056,
title = {Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation},
author = {Marco Mistretta and Alberto Baldrati and Marco Bertini and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:2407.03056},
year = {2024}
}
备注
Accepted for publication at ECCV24