Matryoshka Pilot: 学习用 LLM 驱动黑盒 LLM
机器学习
2025-11-14 v4 人工智能
计算与语言
摘要
尽管黑盒大语言模型（LLM）具有令人印象深刻的生成能力，但其固有的不透明性阻碍了在推理、规划和个性化等能力上的进一步提升。现有工作旨在通过特定领域适配来增强 LLM 能力，这需要对可访问的模型参数进行额外训练，这对于黑盒 LLM 而言是不可行的。为了应对这一挑战，我们提出了 Matryoshka Pilot (M-Pilot)，一种轻量级白盒 LLM 控制器，它通过将复杂任务分解为一系列中间输出来引导大规模黑盒 LLM 生成器。具体而言，我们将黑盒 LLM 视为环境，M-Pilot 作为策略，通过提示提供中间指导以驱动黑盒 LLM。M-Pilot 经过训练，在迭代交互中引导黑盒 LLM 的输出与偏好对齐，从而实现了可控的多轮生成以及在优化中间指导时的自我改进。在多种任务上的实证评估表明，我们的方法有效增强了黑盒 LLM 在复杂、长时程任务中的能力。我们的代码公开于：https://github.com/lichangh20/Matryoshka。
引用
@article{arxiv.2410.20749,
title = {Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs},
author = {Changhao Li and Yuchen Zhuang and Rushi Qiang and Haotian Sun and Hanjun Dai and Chao Zhang and Bo Dai},
journal= {arXiv preprint arXiv:2410.20749},
year = {2025}
}
备注
Accepted by NeurIPS 2025