面向大规模微调模型的低秩适配（LoRA）学习：GL等变低秩权空间处理

低秩适配（LoRA）已彻底改变了大型基础模型的微调方式，使即使在计算资源有限的情况下也能实现高效适配。 resulting的LoRA的激增为将机器学习技术应用于这些低秩权本身作为输入的场景提供了令人振奋的机遇。本文研究了Learning on LoRAs（LoL）的潜力，即LoRA权重作为机器学习模型的输入。例如，一个能够预测微调后模型在下游任务上表现、检测潜在有害微调，或甚至无需传统训练方法即可生成新模型编辑的LoL模型。我们首先确定低秩分解权重的固有参数对称性，这些对称性与标准神经网络的对称性有显著差异。为了高效处理LoRA权重，我们开发了几种基于对称性的不变或等变LoL模型，采用诸如标准化、不变特征化和等变层等工具。我们对数千个文本到图像扩散模型和语言模型进行微调，以收集LoRA数据集。在这些数据集上的数值实验中，我们展示了我们的LoL架构能够处理低秩权重分解，以预测CLIP得分、微调数据属性、微调数据成员身份以及下游任务的准确性。