从提示到模板：面向真实世界 LLM 应用的系统化提示模板分析

大型语言模型（LLM）通过自然语言提示实现直观的任务执行，彻底改变了人机交互。尽管具有巨大潜力，但设计有效的提示仍然是一项重大挑战，因为结构或措辞的微小变化会导致输出的巨大差异。为了应对这些挑战，基于 LLM 的应用程序（LLMapps）依赖提示模板来简化交互、增强可用性并支持文档分析、创意内容生成和代码合成等专业任务。然而，当前的做法严重依赖个人专业知识和迭代试错过程，这凸显了在 LLMapps 中优化提示模板设计的系统化方法的需求。本文对实际 LLMapps 中的提示模板进行了全面分析。我们从开源 LLMapps（包括 Uber 和 Microsoft 等领先公司的应用）中构建了一个真实世界模板数据集。通过结合 LLM 驱动的分析和人工审查，我们对模板组件和占位符进行了分类，分析了它们的分布，并识别了频繁的共现模式。此外，我们通过样本测试评估了所识别模式对 LLM 指令遵循性能的影响。我们的发现为开发者提供了关于提示模板设计的实用见解，支持 LLMapps 在工业环境中的更广泛采用和优化。