超越因子聚合：用于联邦 LoRA 的规范感知低秩服务器表示
机器学习
2026-05-11 v1 人工智能
摘要
联邦 LoRA 在去中心化数据和有限的客户端资源下实现了大语言模型的参数高效适配。然而，直接平均 LoRA 因子依赖于表示：相同的内在更新允许无限多个规范等价的因子分解，因此因子级聚合可以在底层更新保持不变的情况下，因任意坐标选择而发生改变。这揭示了现有联邦 LoRA 聚合规则中的语义不匹配。我们提出了 \textbf{GLoRA}，一种用于联邦 LoRA 的规范感知服务器表示。GLoRA 不聚合原始因子，而是从客户端投影器估计共识更新子空间，并在共享参考坐标中聚合客户端更新，从而完全以低秩形式表示语义更新聚合。为了支持异构的客户端容量，GLoRA 进一步提供了一种秩兼容的读出机制，该机制从相同的服务器状态实例化不同秩的适配器，而无需密集的更新重建。在 GLUE 和 SuperNI 上的实验表明，在数据、资源和任务异构性下，包括异构客户端秩、稀疏参与、更大的骨干网络和未见任务评估，GLoRA 始终优于联邦 LoRA 基线。GLoRA 还实现了有利的效率-性能权衡，这表明有效的联邦 LoRA 不仅需要平均低秩因子，还需要为聚合定义语义上有意义的服务器端表示。
引用
@article{arxiv.2605.06733,
title = {Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA},
author = {Jinqian Chen and Chang Liu and Jihua Zhu},
journal= {arXiv preprint arXiv:2605.06733},
year = {2026}
}