Cross-LoRA：面向异构大语言模型的数据免费 LoRA 迁移框架
机器学习
2025-08-08 v1
摘要
传统的高效参数微调方法如 LoRA 与基础模型架构紧密耦合，限制了其在异构预训练大语言模型（LLM）上的应用。为此，本文引入 Cross-LoRA，一个无需额外训练数据即可在不同基础模型之间迁移 LoRA 模块的数据免费框架。Cross-LoRA 包含两个关键组件：(a) LoRA-Align，通过奇异值分解（SVD）和 Frobenius 范数最优线性变换，在源模型和目标模型之间进行子空间对齐，确保维度不匹配下的兼容性；(b) LoRA-Shift，将对齐后的子空间用于将源 LoRA 权重更新投影到目标模型参数空间。两个组件均为数据免费、训练免费，能够在 20 分钟内在普通 GPU 上实现轻量级适配。在 ARCs、OBOA 和 HellaSwag 上的实验表明，Cross-LoRA 相对于基础模型实现了最高可达 5.26% 的相对提升。在其他常识推理基准测试中，Cross-LoRA 保持了与直接训练 LoRA 适配器相当的性能。
引用
@article{arxiv.2508.05232,
title = {Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs},
author = {Feifan Xia and Mingyang Liao and Yuyang Fang and Defang Li and Yantong Xie and Weikang Li and Yang Li and Deguo Xia and Jizhou Huang},
journal= {arXiv preprint arXiv:2508.05232},
year = {2025}
}