提示位置真的很重要吗？

基于提示的模型因其在零样本和少样本学习领域的显著进展而受到研究人员的广泛关注。构建有效的提示模板起着关键作用。然而，先前的研究主要聚焦于在预定义且提示位置固定的模板内进行提示词表搜索或嵌入初始化。在本实证研究中，我们对多种自然语言处理（NLP）任务下的提示位置进行了迄今最全面的分析。我们的发现量化了提示位置对模型性能的重大影响。我们观察到，先前研究中所用的提示位置往往并非最优，且这一观察结果即使在广泛使用的指令微调模型中也是一致的。这些发现表明，提示位置优化可作为增强提示工程方法的一个有价值的研究方向，而提示位置感知的指令微调则可作为未来构建更鲁棒模型的潜在途径。