提示与前缀微调何时有效？一种能力与局限的理论

基于上下文的微调方法，包括提示（prompting）、上下文学习（in-context learning）、软提示（soft prompting，亦称 prompt tuning）和前缀微调（prefix-tuning），因其常能以极少参数匹配全微调性能而广受欢迎。尽管取得了经验性成功，人们对这些技术如何影响模型内部计算及其表达能力局限仍缺乏理论理解。我们表明，尽管连续嵌入空间比离散 token 空间更具表达力，软提示和前缀微调的表达能力可能弱于全微调，即便可学习参数数量相同。具体而言，基于上下文的微调无法改变内容上的相对注意力模式，只能以固定方向偏置注意力层的输出。这表明，尽管提示、上下文学习、软提示和前缀微调等技术能有效引发预训练模型中已有的技能，它们可能无法学习需要新注意力模式的新型任务。