自指令派生提示生成结合情境学习：解锁黑盒 LLM 的新潜力
计算与语言
2024-09-04 v1 人工智能
摘要
大型语言模型（LLM）在生成高质量响应方面表现出色。为实现更好地与人类偏好相匹配，各种基于特定优化过程的工作提出，但这些方法不适用于参数不可访问的黑盒 LLM 如 GPT-4。在黑盒 LLM 情况下，其性能高度依赖于提供的提示质量。现有的增强响应质量的方法通常涉及提示细化模型，但这些方法可能导致细化提示与原始提示之间的语义不一致，通常忽略它们之间的关系。为此，我们引入了一个自指令情境学习框架，使 LLM 能够通过生成可靠的派生提示来构建信息丰富的情境环境。我们的方案包含自指令强化学习机制，使我们能够在派生提示生成期间直接与响应模型进行交互，以实现更好的对齐。我们将查询建模为情境学习任务，使用 LLM 的响应结合派生提示来建立原始提示的情境示范。该策略确保与原始查询对齐，减少细化提示的差异，并最大化 LLM 的情境学习能力。广泛的实验表明，我们提出的方法不仅生成更可靠的派生提示，而且显著提升了 LLM 交付更有效响应的能力，包括 GPT-4 等黑盒模型。
引用
@article{arxiv.2409.01552,
title = {Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs},
author = {Zhuo Li and Yuhao Du and Jinpeng Hu and Xiang Wan and Anningzhe Gao},
journal= {arXiv preprint arXiv:2409.01552},
year = {2024}
}