基于元正则化的提示学习
计算机视觉与模式识别
2024-04-02 v1
摘要
预训练视觉-语言模型凭借其零样本泛化能力，在各种计算机视觉任务上取得了令人瞩目的成功。近期，提示学习方法被探索用于高效且有效地将视觉-语言模型适配到各种下游任务中。然而，由于在针对特定目标任务的小数据集上微调提示时，预训练视觉-语言模型的通用知识被遗忘，大多数现有的提示学习方法存在任务过拟合问题。为解决这一问题，我们提出了一种提示元正则化方法，以提升视觉-语言模型提示学习的泛化能力。具体而言，ProMetaR 通过元学习正则化和软提示，来同时利用来自下游任务的特定知识以及来自视觉-语言模型的与任务无关的通用知识。此外，ProMetaR 通过对任务进行增广以生成多个虚拟任务，从而缓解元过拟合。另外，我们从梯度对齐的视角提供了分析，以理解 ProMetaR 如何提升提示微调的泛化能力。大量实验表明，在基类到基类/基类到新类以及领域泛化设置下，ProMetaR 提升了传统提示学习方法的泛化能力。ProMetaR 的代码可在 https://github.com/mlvlab/ProMetaR 获取。
引用
@article{arxiv.2404.00851,
title = {Prompt Learning via Meta-Regularization},
author = {Jinyoung Park and Juyeon Ko and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2404.00851},
year = {2024}
}
备注
CVPR 2024