多 LoRA 融合视觉：将多个适配器合并以创建多任务模型

参数高效微调 (PEFT) 方法在 LLM 和计算机视觉中的生成模型中广泛应用。特别可以在推理期间使用多个方法来改变基本模型的行为。本文我们研究了多个在计算机视觉任务上训练的 LoRA 是否可以在不损失性能的情况下进行合并并用于推理。通过实现这一点，可以仅通过合并不同 LoRA 来创建多任务模型。合并这些模型可减少推理时间，无需额外重新训练。我们在六个不同任务上训练了适配器，并评估了它们合并后的性能。我们使用一个冻结 backbone 并微调其 head 的模型进行比较。我们的结果表明，即使采用简单的合并技术，通过合并适配器也可实现多任务模型，仅在某些情况下略微损失性能。在我们的实验中，我们最多合并了三个适配器。 Depending on the task and the similarity of the data adapters were trained on, merges can outperform head finetuning. 我们观察到，在相似数据集上训练的 LoRA 往往表现不如在 dissimilar 数据集上训练的 LoRA。