PLPP：基于困惑度的提示学习即自我蒸馏
密码学与安全
2024-12-23 v1 人工智能
机器学习
摘要
预训练的视觉语言（VL）模型如 CLIP 在诸多下游任务上展现出卓越性能。最近一种方法 Context Optimization（CoOp）通过引入提示学习进一步提高 VL 模型在下游任务上的性能。CoOp 对一组可学习向量（即提示）进行优化，并冻结整个 CLIP 模型。然而，仅依赖 CLIP 损失来微调提示会导致模型容易过拟合于下游任务。为此，我们提出一种插件式提示正则化方法 PLPP（Prompt Learning with Perplexity），使用困惑度损失对提示进行正则化。PLPP 设计了两个步骤来计算提示的困惑度：（a）计算嵌入层权重与提示之间的余弦相似度以获取标签；（b）在文本编码器后引入无需训练的语言模型（LM）头部，以输出词概率分布。与此同时，我们揭示了 PLPP 本质上本质上是一种自我蒸馏形式。为进一步防止过拟合以及减少 PLPP 引入的额外计算，我们将硬标签转换为软标签，并选择 top-k 个值用于计算困惑度损失。为加速模型收敛，我们引入互惠自我蒸馏学习，即困惑度和倒置困惑度损失。在四个分类任务上的实验表明，PLPP 相较于现有方法表现出优异的性能。
引用
@article{arxiv.2412.15276,
title = {Exploring Query Efficient Data Generation towards Data-free Model Stealing in Hard Label Setting},
author = {Gaozheng Pei and Shaojie lyu and Ke Ma and Pinci Yang and Qianqian Xu and Yingfei Sun},
journal= {arXiv preprint arXiv:2412.15276},
year = {2024}
}