我们应该在提示中设计什么？训练人类进行需求驱动的大语言模型使用
人机交互
2025-04-29 v3 人工智能
摘要
为大语言模型（LLM）设计复杂任务（例如，构建一个旅行顾问聊天机器人）的提示，需要人类清晰地阐述定制化需求（例如，“回复以 tl;dr 开头”）。然而，现有的提示工程指导通常缺乏对需求阐述的针对性训练，反而倾向于强调日益可自动化的策略（例如，添加角色扮演和“逐步思考”等技巧）。为解决这一差距，我们引入了面向需求的提示工程（ROPE），这是一种将人类注意力集中在提示过程中生成清晰、完整需求的范式。我们通过一个评估和训练套件来实现 ROPE，该套件提供带有 LLM 生成反馈的刻意练习。在一项包含 30 名新手的随机对照实验中，ROPE 显著优于传统的提示工程训练（20% 对比 1% 的提升），这一差距是自动提示优化无法弥补的。此外，我们证明了输入需求的质量与 LLM 输出之间存在直接关联。我们的工作为赋能更多终端用户构建复杂的 LLM 应用铺平了道路。
引用
@article{arxiv.2409.08775,
title = {What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use},
author = {Qianou Ma and Weirui Peng and Chenyang Yang and Hua Shen and Kenneth Koedinger and Tongshuang Wu},
journal= {arXiv preprint arXiv:2409.08775},
year = {2025}
}
备注
15 pages; TOCHI 2025