面向部分标签下稳健提示学习的整体最优标签选择
计算机视觉与模式识别
2026-04-09 v1 机器学习
摘要
提示学习因参数高效地适应大型预训练视觉-语言模型以应对下游任务而受到广泛关注。然而，在仅提供部分标签的情况下，其性能往往受标签歧义和充足监督信息不足的限制。为此，我们提出了整体最优标签选择 (HopS)，通过两种互补策略发挥预训练特征编码器的泛化能力。首先，我们设计了一种基于局部密度的过滤器，从最近邻的候选集中选择 top frequent 标签，并使用 softmax 分数识别最可信的标签，从而捕捉特征空间中的结构规律。其次，我们引入基于最优运输的全局选择目标，将均匀抽样分布映射到批次中的候选标签分布。通过最小化预期运输成本，可确定最可能的标签分配。这两种策略共同提供了来自局部和全局两个角度的稳健标签选择。在八个基准数据集上的大量实验表明，HopS 在部分监督下 consistently 提升性能，并优于所有基线方法。这些结果凸显了整体标签选择的价值，为在弱监督环境中进行提示学习提供了实用解决方案。
引用
@article{arxiv.2604.06614,
title = {Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels},
author = {Yaqi Zhao and Haoliang Sun and Yating Wang and Yongshun Gong and Yilong Yin},
journal= {arXiv preprint arXiv:2604.06614},
year = {2026}
}