基于代理关系图的无标注提示驱动蒸馏 PRG
计算机视觉与模式识别
2024-08-23 v1
摘要
本文提出了一种从大型基础模型（LFM）提取知识到轻量级模型的新型蒸馏方法，引入一种无需手动标注数据的监督模式。尽管 LFM 在跨数据集的零样本分类任务中表现卓越，但仅依赖 LFM 生成的嵌入进行蒸馏会带来两个主要挑战：LFM 的任务无关知识以及特征密度的高问题。任务无关知识的传递可能削弱学生模型的判别能力，而目标域内特征的高密度则阻碍了挖掘任务必需的判别性知识的提取。为此，我们引入代理关系图（PRG）方法。首先通过计算通过文本提示嵌入获取的加权逻辑平均，提取 LFM 中的任务相关知识。随后，我们为 LFM 和学生模型分别构建样本-类代理图，以建模样本与类代理之间的相关性。随后，通过对齐由两者生成的关系图，实现对选择性知识的蒸馏。具体而言，LFM 到学生模型的蒸馏通过两种对齐方式实现：1）对齐学生模型和 LFM 生成的样本节点，2）对齐学生模型图中的边关系与 LFM 图中的边关系。我们的实验结果验证了 PRG 的有效性，表明其在利用 LFM 的广泛知识库的同时，巧妙地规避了其在聚焦学习场景中的固有局限。值得注意的是，在我们的无标注框架中，PRG 在 CIFAR-100 上的准确率为 76.23%（T: 77.9%），在 ImageNet-1K 上的准确率为 72.44%（T: 75.3%）。
引用
@article{arxiv.2408.12248,
title = {PRG: Prompt-Based Distillation Without Annotation via Proxy Relational Graph},
author = {Yijin Xu and Jialun Liu and Hualiang Wei and Wenhui Li},
journal= {arXiv preprint arXiv:2408.12248},
year = {2024}
}