零样本提示中哪些单词最为重要？

尽管零样本指令式提示（如 "Let's think step-by-step"）已被证明能显著提升大型语言模型的性能，但仍有一个根本性问题未被解答：哪些具体单词驱动了这些令人惊叹的效果？我们提出了 ZIP 评分（Zero-shot Importance of Perturbation），这是一种系统性方法，用于通过受控扰动（包括同义词替换、同兄词替换和策略性删除）来量化指令提示中 individual word 的重要性。我们在四个旗舰模型、七个广泛采用的提示和多个任务领域中进行分析，发现四个关键发现：（1）存在任务特定的单词层级，其中数学问题优先考虑 "step-by-step"，而推理任务偏好 "think"；（2）专有模型在与人类直觉上的对齐方面表现优于开源替代方案；（3）名词在重要性排名中占主导地位，始终代表重要单词的多数；（4）单词重要性与模型性能呈反相关，即在模型最难处理的任务上，提示的影响力最大。除揭示这些模式外，我们建立了第一个针对提示可解释性的基准，通过 20 个具有预定关键单词的验证提示，其中 ZIP 达到 90% 的准确率，而 LIME 仅为 60%。我们的发现推动了提示科学的发展，即语言如何塑造模型行为的研究，为提示工程提供实用见解，并为理解大型语言模型中单词级效应提供理论依据。