自调节提示：基础模型自适应而不遗忘
计算机视觉与模式识别
2023-08-25 v2
摘要
提示学习已成为微调基础模型（如CLIP）以适配各类下游任务的高效替代方案。常规使用任务特定目标（即交叉熵损失）训练时，提示容易过拟合下游数据分布，难以从冻结的CLIP中捕获任务无关的一般特征，这导致模型原有泛化能力丧失。为解决此问题，本文提出一种称为PromptSRC（带自调节约束的提示学习）的提示自正则化框架。PromptSRC通过三管齐下的方法引导提示同时优化任务特定与任务无关的一般表示：(a) 通过与冻结模型互协议最大化来正则化提示表示，(b) 通过对训练轨迹上提示的自集成来正则化以编码其互补优势，(c) 通过文本多样性正则化来缓解与视觉分支的样本多样性不平衡。据我们所知，这是首个避免过拟合的提示学习正则化框架，通过联合关注预训练模型特征、提示过程中的训练轨迹以及文本多样性来实现。PromptSRC显式引导提示学习在不损害CLIP泛化能力的前提下最大化下游任务性能的表示空间。我们在4个基准上进行了大量实验，PromptSRC总体优于现有方法。我们的代码与预训练模型公开于：https://github.com/muzairkhattak/PromptSRC。
引用
@article{arxiv.2307.06948,
title = {Self-regulating Prompts: Foundational Model Adaptation without Forgetting},
author = {Muhammad Uzair Khattak and Syed Talal Wasim and Muzammal Naseer and Salman Khan and Ming-Hsuan Yang and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2307.06948},
year = {2023}
}
备注
Accepted to ICCV-2023. Camera-Ready version. Project page: https://muzairkhattak.github.io/PromptSRC/