理解提示编程任务与问题

提示驱动的基础模型（FMs），如大语言模型（LLMs），已使诸如文本摘要等新的 AI 驱动软件功能成为可能，这些功能此前仅能通过微调模型实现。现在，开发人员正将提示嵌入软件，称为提示程序。提示编程的过程需要开发人员对提示进行多次修改。然而，开发人员为更新提示所提出的问题尚不为人所知，尽管这些问题的答案影响开发人员的计划变更方式。随着提示编程工具的研究和商业应用数量的增长，尚不清楚提示程序员的需求是否得到充分满足。为此，我们发展了一套提示程序员所执行的 25 项任务和 51 个问题的分类法，量化每项任务和问题的重要性。我们对 16 名提示程序员进行访谈，观察 8 名开发人员进行提示修改，并对 50 名开发人员进行调查。随后，我们将分类法与 48 项研究和商业工具进行比较。我们发现，提示编程支持不足：所有任务均需手动完成，且 51 个问题中有 16 个——包括大多数最重要的问题——仍未得到解答。基于此，我们勾勒了提示编程工具的重要机遇。