使用 SVD 进行模型合并以解决权重对齐问题
计算机视觉与模式识别
2024-10-28 v1
摘要
最近的模型合并方法表明，针对不同任务进行完整微调的模型参数可以合并为一个能够解决所有任务的模型，而无需重新训练。然而，这种成功经验在合并 LoRA 微调模型时并未取得好效果。我们研究了这一现象，观察到 LoRA 微调模型的权重对齐程度低于其完整微调模型。我们假设提高这种对齐程度是获得更好 LoRA 模型合并的关键方法，提出了 KnOTS 来解决此问题。KnOTS 使用 SVD 将不同 LoRA 模型的权重联合转换到对齐的空间，以便应用现有的合并方法。此外，我们引入了一个新的基准测试，显式评估合并后模型是否为通用模型。值得注意的是，KnOTS 在多个视觉和语言基准测试中均显著提升了 LoRA 合并效果，提升幅度最高可达 4.3%，包括我们新的设置。我们将发布代码于：https://github.com/gstoica27/KnOTS。
关键词
引用
@article{arxiv.2410.19735,
title = {Model merging with SVD to tie the Knots},
author = {George Stoica and Pratik Ramesh and Boglarka Ecsedi and Leshem Choshen and Judy Hoffman},
journal= {arXiv preprint arXiv:2410.19735},
year = {2024}
}