基于有效梯度近似的视觉语言模型黑盒调优
计算机视觉与模式识别
2023-12-27 v1
摘要
参数高效微调（PEFT）方法为将大型视觉语言模型适应特定任务或场景提供了有效途径。通常，它们以白盒形式学习预训练模型的极小规模参数，这假设模型架构已知且参数可访问。然而，由于防止滥用或商业因素等考虑，大型模型通常不开源，因此给白盒PEFT方法的部署带来了障碍。为了减轻对模型可访问性的依赖，我们引入了协作黑盒调优（CBBT），用于黑盒模型的文本提示优化和输出特征适配。具体来说，考虑到反向传播梯度被阻断，我们通过分析扰动提示的预测来近似文本提示的梯度。其次，在不可访问模型的输出特征上部署轻量级适配器，进一步促进模型适应过程。凭借这些设计，我们的CBBT在十一个下游基准上进行了广泛评估，与现有的黑盒VL适应方法相比取得了显著改进。代码发布在https://github.com/guozix/cbbt。
引用
@article{arxiv.2312.15901,
title = {Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation},
author = {Zixian Guo and Yuxiang Wei and Ming Liu and Zhilong Ji and Jinfeng Bai and Yiwen Guo and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2312.15901},
year = {2023}
}