PromptWizard：面向任务的提示优化框架
计算与语言
2024-10-04 v2 人工智能
机器学习
摘要
大型语言模型 (LLM) 已在 diverse 领域变革了人工智能，其中提示工程是指导模型输出成功的关键因素。然而，手动提示工程既耗费人力又具有领域特定性，亟需自动化解决方案。我们引入 PromptWizard，一个新型的、完全自动化的离散提示优化框架，利用自演化、自适应机制。通过反馈驱动的批判与综合过程，PromptWizard 在探索与开发之间实现了有效的平衡，迭代细化提示指令和情境示例，以生成人类可读、任务特定的提示。这种引导方法系统性地提高了提示质量，在 45 个任务上实现了卓越的性能。即使在有限训练数据、较小的 LLM 和各种 LLM 架构下，PromptWizard 也表现出色。此外，我们的成本分析揭示了 API 调用、标记用量和总体成本的显著减少，彰显了 PromptWizard 在效率、可扩展性和优于现有提示优化策略方面的优势。
引用
@article{arxiv.2405.18369,
title = {PromptWizard: Task-Aware Prompt Optimization Framework},
author = {Eshaan Agarwal and Joykirat Singh and Vivek Dani and Raghav Magazine and Tanuja Ganu and Akshay Nambi},
journal= {arXiv preprint arXiv:2405.18369},
year = {2024}
}