关注视觉提示微调中的突发性！

视觉提示微调（VPT）是一种参数高效的微调技术，通过在输入空间中学习一小部分参数（称为提示）来适配预训练的视觉Transformer（ViT）。在VPT中，我们发现了由图像块嵌入、Transformer自注意力模块中的键和查询投影器之间的相互作用所产生的值的“突发性”。此外，图像块嵌入的值以及键和查询投影器分别表现出拉普拉斯分布和超拉普拉斯分布。直观上，这些非高斯分布给学习提示带来了挑战。为了解决这一问题，我们提出在学习提示之前对这些数据进行白化处理，去相关并均衡其方差，使其更接近高斯分布。我们在随机图像块嵌入以及ViT的键和查询投影器上推导出白化矩阵，并以双线性方式将其与待学习的提示相乘。令人惊讶的是，该方法显著加速了提示微调并提高了准确性，例如，在CUB数据集上提高了超过25个准确率点；有趣的是，它学习到了“突发性提示”。通过扩展已知会引入突发性的双线性模型，我们提出了一个紧凑的低秩版本，通过学习两个较小的矩阵并将其乘积作为最终提示。我们将所提出的方法称为双线性提示微调（BPT）。在多个基准数据集上的大量实验表明，BPT方法不仅优于各种VPT方法，而且减少了参数数量和计算开销。