CPT：黑箱优化的一致代理调优
机器学习
2024-07-02 v1
摘要
黑箱调优近年来引起了广泛关注，因为高级专有模型的结构或内部参数无法访问。代理调优提供了一种针对黑箱语言模型的测试时输出调整方法。它通过对调优前后较小的白盒“代理”模型输出logit的差异来提高黑箱模型的性能。然而，这一技术仅作为解码时算法，导致训练与测试之间的不一致，可能限制整体性能。为解决此问题，我们引入一致代理调优（CPT），这是一种简单而有效的黑箱调优方法。与代理调优不同，CPT额外利用冻结的大型黑箱模型和另一个冻结的小型白盒模型，确保训练阶段优化目标与测试时代理之间的一致性。这种一致性有益于代理调优并提升模型性能。请注意，我们的方法仅聚焦于logit级别的计算，这使其对模型具有不依赖性，可应用于任何涉及logit分类的任务。大量实验结果表明，我们的CPT在大型语言模型（LLM）和视觉语言模型（VLM）的黑箱调优中均表现优异。代码已在https://github.com/chunmeifeng/CPT上提供。
引用
@article{arxiv.2407.01155,
title = {CPT: Consistent Proxy Tuning for Black-box Optimization},
author = {Yuanyang He and Zitong Huang and Xinxing Xu and Rick Siow Mong Goh and Salman Khan and Wangmeng Zuo and Yong Liu and Chun-Mei Feng},
journal= {arXiv preprint arXiv:2407.01155},
year = {2024}
}
备注
10 pages,2 figures plus supplementary materials