FedRot-LoRA：消除联邦 LoRA 中的旋转错位
机器学习
2026-05-13 v2 人工智能
摘要
联邦 LoRA 提供了一种在分散数据上微调大型语言模型的通信高效机制。然而，实际情况下，用于保持低秩的因子级平均与本地更新的数学正确聚合之间存在差异，可能导致显著的聚合误差和训练不稳定。我们认为，这一问题的主要来源是旋转错位，源自低秩分解的旋转不变性 — — 即语义等效更新可在不同客户端的不同潜在子空间中表示，因为 。当此类错位的因子被直接平均时，就会发生破坏性干扰并降低全局更新。为此，我们提出 FedRot-LoRA，一种在聚合前通过正交变换对客户端更新进行对齐的联邦 LoRA 框架。这种对齐在不增加通信成本或限制模型表达力的前提下，保留了语义更新并减少了跨客户端子空间的不匹配。我们提供了收敛分析，检讨因子级平均引起的聚合误差，展示旋转对齐如何导致更紧的误差上界。广泛的实验在自然语言理解和生成任务上表明，FedRot-LoRA 在各种异质性水平和 LoRA 秩下均一致优于现有的联邦 LoRA 基线。
引用
@article{arxiv.2602.23638,
title = {FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA},
author = {Haoran Zhang and Dongjun Kim and Seohyeon Cha and Haris Vikalo},
journal= {arXiv preprint arXiv:2602.23638},
year = {2026}
}
备注
ICML 2026