BlackVIP：面向鲁棒迁移学习的黑盒视觉提示
计算机视觉与模式识别
2023-07-11 v2 人工智能
机器学习
摘要
随着大规模预训练模型（PTMs）的激增，将这些模型微调至众多下游任务成为一个关键问题。因此，大模型的参数高效迁移学习（PETL）引起了极大关注。尽管近期的 PETL 方法展现出令人印象深刻的性能，它们依赖于乐观的假设：1）PTM 的整个参数集可用，2）具备足够大的内存容量用于微调。然而，在大多数现实应用中，PTM 作为黑盒 API 或专有软件提供服务，无显式的参数访问权限。此外，现代 PTM 难以满足大内存需求。在本工作中，我们提出黑盒视觉提示（BlackVIP），其在不了解模型架构与参数的情况下高效适配 PTM。BlackVIP 包含两个组件：1）协调器（Coordinator），2）带梯度校正的同时扰动随机逼近（SPSA-GC）。协调器设计输入相关的图像形视觉提示，改善了少样本适配性以及在分布/位置偏移下的鲁棒性。SPSA-GC 高效估计目标模型的梯度以更新协调器。在 16 个数据集上的大量实验表明，BlackVIP 能够在无需访问 PTM 参数、内存需求极小的情况下实现对多样领域的鲁棒适配。代码：\url{https://github.com/changdaeoh/BlackVIP}
引用
@article{arxiv.2303.14773,
title = {BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning},
author = {Changdae Oh and Hyeji Hwang and Hee-young Lee and YongTaek Lim and Geunyoung Jung and Jiyoung Jung and Hosik Choi and Kyungwoo Song},
journal= {arXiv preprint arXiv:2303.14773},
year = {2023}
}
备注
Accepted to CVPR 2023 (v2: citation error was fixed)