加权多提示学习：基于无描述大语言模型蒸馏
机器学习
2025-07-11 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
最近的预训练视觉语言模型（VLM）在通过提示学习无需额外标注配对数据集的情况下展现出有效适应下游任务的潜力。为补充VLM中仅依赖视觉数据训练的文本信息，新方法利用大语言模型（LLM）于提示中，以增强对未见及多样化数据的鲁棒性。现有方法通常从LLM提取文本响应（即描述）以纳入提示，但该方法存在高变异性和低可靠性问题。本文提出无描述多提示学习（DeMul）——一种新颖方法，旨取代描述提取过程，直接将LLM的知识蒸馏至提示中。通过采用无描述方法，提示可封装更丰富的语义，同时以连续向量形式表示优化，从而消除对离散预定义模板的需求。此外，在多提示设置下，我们实证证明提示加权在训练期间反映不同提示重要性的潜力。实验结果表明，我们的方法在11个识别数据集上实现了卓越的性能。
引用
@article{arxiv.2507.07147,
title = {Weighted Multi-Prompt Learning with Description-free Large Language Model Distillation},
author = {Sua Lee and Kyubum Shin and Jung Ho Park},
journal= {arXiv preprint arXiv:2507.07147},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025