偏好对齐的 LoRA 合并：保持子空间覆盖并解决方向各向异性
计算机视觉与模式识别
2026-03-30 v1 人工智能
机器学习
摘要
合并多个低秩适应（LoRA）模块对于构建通用系统前景广阔，但具有挑战性，因为 LoRA 更新方向跨越不同子空间且贡献不均。朴素合并时，此类不匹配会削弱对某些任务损失最关键的方向，同时过度强调相对不那么重要的方向，最终降低模型忠实表示所有任务的能力。我们从两个视角重新审视此问题：子空间覆盖，捕捉 LoRA 方向在多大程度上覆盖多样的表示方向；以及各向异性，反映这些方向上影响的不平衡。我们提出 TARA-Merging（任务秩各向异性对齐），通过偏好加权的交叉熵伪损失对齐合并权重，同时保持任务相关的 LoRA 子空间。这确保了广泛的子空间覆盖，并通过逐方向重加权缓解各向异性。在八个视觉和六个 NLI 基准测试上，TARA-Merging 一致优于朴素基线和 LoRA 感知基线，展现出强大的鲁棒性和泛化能力，并凸显了在 LoRA 合并中同时解决子空间覆盖和各向异性的重要性。
引用
@article{arxiv.2603.26299,
title = {Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy},
author = {Wooseong Jeong and Wonyoung Lee and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2603.26299},
year = {2026}
}
备注
Accepted at CVPR 2026