不同提示方法是否在语言模型中生成相同的任务表示？

演示和指令是两种用于在语言模型中执行类比学习任务的主要提示方法。不同方式呈现相同任务是否会导致相似的任务表示？对任务表示机制的更深入理解将提供可解释性见解，可能有助于引导模型。我们通过函数向量（FVs）来研究这一问题，FVs 是一种最近提出的用于提取少样本类比学习任务表示的机制。我们将 FVs 推广到替代任务呈现方式，专注于简短文本指令提示，并成功提取指令函数向量以提升零样本任务准确率。我们发现，演示驱动和指令驱动的函数向量利用不同的模型组件，并提供了若干控制方法以分离其对任务性能的贡献。我们的结果表明，不同的任务提示形式并未通过 FVs 诱导常见的任务表示，而是触发不同的、部分重叠的机制。我们的发现为将指令与任务演示组合的做法提供原则依据，暗示在不同呈现形式中普遍监控任务推断存在挑战，并鼓励进一步检视大语言模型的任务推断机制。