通过引导嵌入：用于系统提示贝叶斯优化的动态表示
人工智能
2026-05-20 v1 机器学习
摘要
系统提示是现代 AI 系统的核心控制机制，塑造着对话、任务和用户群体的行为方式。然而，在仅能获得聚合指标反馈（而非每例标签、错误或评论）时，系统提示调参困难。我们将此聚合反馈场景视为离散、可变长度文本上的样本受限的黑箱优化问题。我们引入 ReElicit，一种基于“引导嵌入”（embedding by elicitation）的贝叶斯优化框架。给定任务描述、先前评估的提示以及标量得分，LLM 从数据中诱导出紧凑且可解释的特征空间，并将提示映射到该空间。借助概率高斯过程代理，获取函数随后选择目标特征向量，LLM 再将其实现并细化为可部署的系统提示。随着新评估的到来，重新诱导特征空间使表示能够适应观察到的提示得分历史。在离线基准准确率作为受控聚合代理的设置下进行评估：优化器仅观察每个提示的一个标量得分，且无每例标签、错误或评论。我们在十个系统提示优化任务中进行评估，在总体评估预算为 30 的限制下，ReElicit 在代表性仅基于聚合的提示优化基准中实现了最强的整体表现。这些结果表明，LLM 可作为自适应语义表示构建器，既是提示生成器，也是自然语言制品的贝叶斯优化器。
引用
@article{arxiv.2605.19093,
title = {Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts},
author = {Zhiyuan Jerry Lin and Benjamin Letham and Samuel Dooley and Maximilian Balandat and Eytan Bakshy},
journal= {arXiv preprint arXiv:2605.19093},
year = {2026}
}