LoCO：低秩组合旋转微调

参数高效微调（PEFT）已成为在自然语言处理和计算机视觉领域适配大规模基础模型的关键技术。虽然现有的方法如低秩适应通过低秩权重更新实现了参数效率，但它们在保持预训练表征的几何结构方面能力有限。我们引入了低秩组合正交微调（LoCO），这是一种新颖的PEFT方法，通过低秩斜对称矩阵和组合旋转链构建正交变换。我们提出了一种近似方案，能够实现组合旋转的完全并行计算，使该方法适用于高维特征空间。我们的方法在保持低计算复杂度的同时，以可控的近似误差维持正交性。我们在多个领域验证了LoCO，包括扩散Transformer微调、视觉Transformer适配和语言模型适配。与现有的正交和非正交方法相比，我们的方法展示了优越或具有竞争力的性能。