连接不可靠的异构网络中的鲁棒联邦微调：一种聚合视角
分布式、并行与集群计算
2025-12-29 v1
摘要
联邦微调（FFT）因能同时利用服务器端和客户端数据来增强全局模型泛化能力并保护隐私，同时通过避免从头训练显著减轻边缘设备的计算负担，而吸引了越来越多的关注。尽管有这些优势，FFT的性能常常因不可靠的服务器-客户端连接和异构的客户端数据分布而下降。现有方法大多假设同构的网络条件或需要关于连接故障的先验知识。然而，在以多样化通信标准（例如，有线、Wi-Fi、4G和5G）和异构故障模式为特征的现实世界网络中，这些假设是不切实际的。为了解决这些局限性，我们提出了FedAuto，一个通过自适应聚合来减轻连接故障和数据异构性综合影响的新型FFT框架。FedAuto无需网络条件的先验知识，也无需修改现有基础设施，即可实现无缝的即插即用部署。此外，我们为FedAuto建立了严格的收敛性保证。通过采用一种新颖的逐轮聚合视角，我们的分析消除了先前工作中普遍施加的对连接故障概率或客户端选择策略的假设，并保证了FedAuto在每一次具体实现中的收敛性，提供了更强的理论保证。大量实验表明，在全参数和部分参数微调（例如LoRA）的多种连接故障场景下，FedAuto始终优于最先进的基线方法，甚至超越了依赖复杂通信资源优化的策略。
引用
@article{arxiv.2512.22035,
title = {Robust Federated Fine-Tuning in Heterogeneous Networks with Unreliable Connections: An Aggregation View},
author = {Yanmeng Wang and Zhiwen Dai and Shuai Wang and Jian Zhou and Fu Xiao and Tony Q. S. Quek and Tsung-Hui Chang},
journal= {arXiv preprint arXiv:2512.22035},
year = {2025}
}