基于蝴蝶分解的参数高效正交微调

大型基础模型正变得无处不在，但从头训练它们成本高昂得令人望而却步。因此，将这些强大模型高效适配到下游任务变得愈发重要。本文研究一种原则性的微调范式——正交微调（OFT）——用于下游任务适配。尽管 OFT 展现出良好的泛化性，但由于正交矩阵的高维性，其仍使用相当多的可训练参数。为此，我们首先从信息传输视角审视 OFT，进而确定若干能够实现更优参数效率的关键需求。受 Cooley-Tukey 快速傅里叶变换算法实现高效信息传输的启发，我们提出一种利用蝴蝶结构的高效正交参数化方法。我们将该参数化应用于 OFT，创造出一种新颖的参数高效微调方法，称为正交蝴蝶（BOFT）。由于将 OFT 作为特例纳入，BOFT 引入了一个广义的正交微调框架。最后，我们对将大型视觉 transformer、大型语言模型以及文本到图像扩散模型适配到视觉与语言领域各类下游任务进行了广泛的实证研究。