通过代理微调语言模型

尽管大型预训练语言模型具有通用能力，但它们通常需要进一步适应以更好地实现期望的行为。然而，微调这些模型变得越来越耗费资源，或者在模型权重不公开时变得不可能。我们引入了代理微调（proxy-tuning），这是一种轻量级的解码时算法，作用于黑盒语言模型之上，通过仅访问其输出词汇表上的预测（而非参数），实现与直接微调相同的效果。我们的方法微调一个较小的语言模型，然后将微调后的小模型与未微调的小模型预测之间的差异应用于较大未微调模型的原始预测，使其朝微调方向偏移，同时保留大规模预训练的优势。在实验中，当我们使用仅7B大小的代理对Llama2-70B应用代理微调时，在知识、推理和安全基准测试中，我们能够缩小Llama2-70B与其真正微调的聊天版本之间88%的差距。然后，我们通过将代理微调应用于代码领域适应以及问答和数学问题的任务特定微调，展示了其通用性。最后，我们展示了如何对真正的黑盒语言模型GPT-3.5进行代理微调以实现时间适应，增加其对近期事件的了解。我们的工作展示了使用小型微调语言模型通过解码时指导高效定制大型、可能专有的语言模型的潜力。