基于粗糙度的联邦学习
机器学习
2026-02-12 v1
摘要
联邦学习（Federated Learning, FL）通过分布式客户端协作训练模型，同时保留数据隐私，但在非独立且同分布（non-IID）设置下面临客户端漂移挑战，影响收敛性。我们提出RI-FedAvg，一种新型联邦学习算法，通过纳入基于粗糙指数（Roughness Index, RI）的正则化项来缓解客户端漂移，根据本地损失景观的波动性自适应地对更新施加惩罚。本文介绍RI-FedAvg，利用RI量化高维损失函数的粗糙度，确保在异构设置下实现稳健优化。我们对非凸目标提供严格的收敛性分析，建立RI-FedAvg在标准假设下收敛于平稳点。大量实验在MNIST、CIFAR-10和CIFAR-100上表明，RI-FedAvg优于包括FedAvg、FedProx、FedDyn、SCAFFOLD和DP-FedAvg等最新基线，在非I.I.D.场景下实现更高准确率和更快收敛速度。我们的结果表明，RI-FedAvg有望在实际异构环境中增强联邦学习的鲁棒性和效率。
引用
@article{arxiv.2602.10595,
title = {Roughness-Informed Federated Learning},
author = {Mohammad Partohaghighi and Roummel Marcia and Bruce J. West and YangQuan Chen},
journal= {arXiv preprint arXiv:2602.10595},
year = {2026}
}
备注
This manuscript is under review in IEEE TPAMI journal