BBox-Adapter：面向黑盒大语言模型的轻量级适配
计算与语言
2024-05-29 v2 人工智能
机器学习
摘要
将 GPT-4 和 Gemini 等最先进的大语言模型（LLM）适配至特定任务具有挑战性。由于其参数、嵌入甚至输出概率的不透明性，现有的微调适配方法不再适用。因此，适配这些黑盒 LLM 只能通过其 API 服务进行，这引发了关于透明度、隐私和成本的担忧。为了应对这些挑战，我们引入了 BBox-Adapter，一种面向黑盒 LLM 的新型轻量级适配器。BBox-Adapter 将目标数据视为正样本、源数据视为负样本，从而区分目标域和源域数据。它采用基于排序的噪声对比估计（NCE）损失，在提升目标域数据似然的同时惩罚源域数据的似然。此外，它具备在线适配机制，该机制结合了来自真实标签、人类或 AI 反馈的实时正样本采样，以及来自先前适配的负样本。大量实验证明了 BBox-Adapter 的有效性与成本效率。它在多样化任务和领域中将模型性能提升了高达 6.77%，同时分别将训练和推理成本降低了 31.30 倍和 1.84 倍。
引用
@article{arxiv.2402.08219,
title = {BBox-Adapter: Lightweight Adapting for Black-Box Large Language Models},
author = {Haotian Sun and Yuchen Zhuang and Wei Wei and Chao Zhang and Bo Dai},
journal= {arXiv preprint arXiv:2402.08219},
year = {2024}
}
备注
25 pages, 10 figures