ZIP：面向黑箱视觉语言模型的高效零阶提示调优
计算机视觉与模式识别
2025-04-10 v1 机器学习
摘要
最近的研究引入了各种方法用于黑箱视觉语言模型的提示调优，称为黑箱提示调优（black-box prompt-tuning, BBPT）。尽管BBPT显示出巨大的潜力，但许多现有方法需要大量查询（即函数评估），这在查询次数受限的实际场景中构成重大挑战。为解决此问题，我们提出了零阶内维率提示调优（Zeroth-order Intrinsic-dimensional Prompt-tuning, ZIP），一种新方法，使纯黑箱环境下的提示优化能够高效且稳健。ZIP的关键思想是降低问题维度和零阶梯度估计的方差，从而在更少的查询次数下进行快速训练。我们通过对提示进行低秩表示重新参数化，并设计内维率梯度估计的裁剪机制来实现这一点。我们在13多个视觉语言任务的标准基准上评估了ZIP，显示其在少量样本准确率上比最佳现有BBPT方法平均提升约6%，查询效率提升约48%，开创了新的学习状态。我们的消融分析进一步表明，所提出的裁剪机制稳健且近乎最优，无需手动选择裁剪阈值，无需进行昂贵的超参数搜索。
引用
@article{arxiv.2504.06838,
title = {ZIP: An Efficient Zeroth-order Prompt Tuning for Black-box Vision-Language Models},
author = {Seonghwan Park and Jaehyeon Jeong and Yongjun Kim and Jaeho Lee and Namhoon Lee},
journal= {arXiv preprint arXiv:2504.06838},
year = {2025}
}
备注
ICLR 2025