PRESTO：基于原像信息的黑箱 LLM 指令优化
机器学习
2025-10-31 v1
摘要
大型语言模型（LLM）因其强大的指令跟随能力在各个领域取得了显著成功。这导致越来越多的人关注如何为黑箱 LLM 优化指令，这些模型的内部参数不可访问但因其卓越性能而广泛使用。为了为黑箱 LLM 优化指令，最近的方法利用白箱 LLM 从优化的软提示生成候选指令。然而，白箱 LLM 常常将不同的软提示映射到相同的指令，从而导致冗余查询。虽然先前的研究将这种许对一映射视为限制优化效率的结构，但我们将其重新解释为可加速优化的有用先验知识。为此，我们引入基于原像信息的 inSTruction Optimization（PRESTO）框架，利用软提示的原像结构实现高效优化。PRESTO 由三个关键组件构成：（1）得分共享，将所有原像中的软提示的评估得分共享；（2）基于原像的初始化，使用原像信息选择最大化搜索空间覆盖的初始数据点；（3）得分一致性正则化，强制每个原像内的预测一致。通过利用原像，PRESTO 实现了在相同查询预算下有效获取 14 倍更多的评分数据，从而实现更高效的优化。在 33 个指令优化任务的实验结果表明，PRESTO 具有卓越的性能。代码已公开于 https://github.com/mlvlab/PRESTO。
引用
@article{arxiv.2510.25808,
title = {PRESTO: Preimage-Informed Instruction Optimization for Prompting Black-Box LLMs},
author = {Jaewon Chu and Seunghun Lee and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2510.25808},
year = {2025}
}
备注
Accepted to NeurIPS 2025