重访前缀调优：触发器中参数重参数化的统计优势

触发器技术，如触发器调优和前缀调优，因其在微调大规模预训练模型方面的高效性而广受欢迎。尽管其应用广泛，但这些方法的理论基础仍有限。例如，在前缀调优中，我们观察到实现与完全微调相当性能的关键因素在于重参数化策略。然而，支撑这种方法有效性的理论原理尚未得到彻底考察。我们的研究表明，重参数化不仅仅是一种工程技巧，而是建立在深厚理论基础之上的。具体而言，我们表明，重参数化策略隐式地编码了前缀键和值向量之间的共享结构。基于最近关于前缀调优与混合专家模型联系的最新见解，我们进一步说明，这种共享结构显著提高了参数估计的样本效率，相较于非共享方案效果更佳。在广泛的视觉和语言领域的实验中，我们证实了前缀调优在各种任务上的有效性受益于这种共享结构。此外，我们发现触发器调优中也存在类似的结构优势，为理解其成功提供了新的视角。我们的发现在理论和实证方面均作出了贡献，推动了对触发器方法及其背后机制的理解。