重新思考LoRA正交性在适配器合并中的作用：来自正交蒙特卡罗 dropout的洞见
机器学习
2025-10-09 v2 人工智能
计算机视觉与模式识别
摘要
我们提出正交蒙特卡罗 dropout一种机制，可在不增加额外时间复杂度的情况下强制稀疏语义向量的严格正交性。低秩适应（LoRA）是大型模型的流行微调方法，通常训练一个模块以表示特定概念，如物体或风格。当合并多个LoRA模块时，例如生成特定风格的物体，其输出（语义向量）可能相互干扰。我们的方法确保合并后的LoRA模块保持正交性，从而避免直接干扰。然而，经验分析揭示了此类正交性并不导致先前工作中强调的语义解耦。此发现表明，LoRA间的正交性单独可能不足以实现真正的语义组合性，促使我们重新审视其在适配器合并中的作用。
关键词
引用
@article{arxiv.2510.03262,
title = {Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout},
author = {Andi Zhang and Xuan Ding and Haofan Wang and Steven McDonagh and Samuel Kaski},
journal= {arXiv preprint arXiv:2510.03262},
year = {2025}
}