ADF-LoRA：用于去中心化联邦微调的交替低秩聚合
机器学习
2025-11-25 v1 分布式、并行与集群计算
摘要
本文重访联邦微调中交替低秩更新的机制，并检视其在去中心化联邦学习（DFL）中的行为。虽然交替更新LoRA矩阵已被证明可稳定聚合集中式FL，但将其扩展到去中心化、点对点通信引入了新的挑战，due to相位状态不匹配和跨客户端的块状发散。我们引入ADF-LoRA，仅在每轮中同步更新一种低秩矩阵，并混合两种矩阵以维持更一致的参数状态于去中心化传播下。该设计保留了交替更新的交叉项抑制效果，同时提高了无服务器拓扑下的稳定性。我们在标准光滑性假设下提供收敛分析，并在多个GLUE任务上评估ADF-LoRA。实验表明，ADF-LoRA实现了更快更平滑的收敛，净通过多个任务实现最高的平均准确率，持续优于去中心化联邦学习中的现有LoRA变体。
引用
@article{arxiv.2511.18291,
title = {ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning},
author = {Xiaoyu Wang and Xiaotian Li and Zhixiang Zhou and Chen Li and Yong Liu},
journal= {arXiv preprint arXiv:2511.18291},
year = {2025}
}
备注
10 Pages