通过脚本生成实现面向任务的提示增强

大型语言模型（LLM）凭借先进的推理能力，在各种任务中展现出了卓越的能力。然而，由于缺乏对任务答案的特定先验知识，它们在处理面向任务的提示时存在困难。当前的最先进方法PAL利用代码生成来解决此问题。但是，PAL依赖于手动制作的提示模板和示例，同时仍然会产生不准确的结果。在这项工作中，我们提出了TITAN——一种旨在增强LLM在面向任务的提示上性能的新策略。TITAN通过使用通用方法和零样本学习生成脚本来实现这一点。与现有方法不同，TITAN消除了对详细任务特定指令和大量人工工作的需求。TITAN通过在一个简化的流程中利用LLM的分析和代码生成能力，增强了其在各种任务上的性能。TITAN采用了两种关键技术：（1）退一步提示以提取任务的输入规范，以及（2）思维链提示以识别所需的程序步骤。这些信息被用来改进LLM的代码生成过程。TITAN通过后处理进一步完善生成的脚本，并执行该脚本以获取最终答案。我们的综合评估证明了TITAN在多种任务中的有效性。平均而言，在与GPT-3.5和GPT-4配合使用时，TITAN分别比最先进的零样本方法高出7.6%和3.9%。总体而言，在无需人工标注的情况下，TITAN在11个案例中的8个达到了最先进的性能，仅在3个场合以微小的差距输给了需要人工干预的少样本方法。这项工作代表了在处理面向任务的提示方面的重大进展，为在日常生活中有效利用LLM提供了一种新颖的解决方案。