一次预训练，再局部重编程：黑盒服务模型适配的高效替代方案
计算机视觉与模式识别
2026-04-03 v1 机器学习
摘要
适配封闭黑盒服务模型（即 API）以完成目标任务通常依赖通过零阶优化 (ZOO) 进行重编程。然而，这一标准策略以大量昂贵的 API 调用著称，且常面临缓慢、不稳定的优化。此外，我们观察到该范式在面对现代 API（如 GPT-4o）时面临新挑战。这些模型对 ZOO 依赖的输入扰动不那么敏感，从而阻碍了性能提升。为解决这些限制，我们提出一种替代性高效服务模型重编程方法 (AReS)。不同于直接的连续黑盒优化，AReS 通过与服务 API 的单次交互启动一个可适配的局部预训练编码器。该预训练阶段仅在局部编码器之上训练一个轻量层，使其对随后的玻璃盒（白盒）重编程阶段高度敏感，该阶段直接在局部模型上执行。因此，所有后续适配和推理仅依赖此局部代理，消除了所有进一步的 API 成本。实验表明 AReS 在先前 ZOO 方法表现不佳的场景中有效：在 GPT-4o 上，AReS 相比零样本基线获得 +27.8% 的提升，而 ZOO 方法几乎无法提供改进。总体而言，在十个多样化数据集上，AReS 超越最先进方法（VLM +2.5%，标准 VM +15.6%），同时将 API 调用减少超过 99.99%。AReS 因此为适配现代封闭盒模型提供了一个鲁棒且实用的解决方案。
引用
@article{arxiv.2604.01474,
title = {Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation},
author = {Yunbei Zhang and Chengyi Cai and Feng Liu and Jihun Hamm},
journal= {arXiv preprint arXiv:2604.01474},
year = {2026}
}
备注
CVPR 2026