FedDUAL:一种结合自适应损失与动态聚合的双策略方法,用于缓解联邦学习中的数据异质性
机器学习
2026-01-08 v2 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习(FL)标志着一种变革性的分布式模型训练方法,它将来自不同客户端的本地优化模型组合成一个统一的全局模型。虽然FL通过消除集中式存储来保护数据隐私,但它也面临着重大挑战,例如由于客户端数据分布的异质性,导致性能下降、收敛速度变慢以及全局模型鲁棒性降低。在各种形式的数据异质性中,标签偏移在图像分类等领域尤为棘手和普遍。为了应对这些挑战,我们首先通过全面的实验来查明FL训练过程中的根本问题。在此基础上,我们引入了一种创新的双策略方法来有效解决这些问题。首先,我们引入了一种用于客户端训练的自适应损失函数,该函数精心设计,以在保留先前知识的同时,维持局部优化与全局模型一致性之间的最佳平衡。其次,我们开发了一种在服务器端聚合客户端模型的动态聚合策略。该策略适应每个客户端独特的学习模式,有效应对网络中多样化数据带来的挑战。我们在三个不同的真实世界数据集上进行的全面评估,加上理论收敛保证,证明了我们的方法相较于几种既有先进方法的优越性。
引用
@article{arxiv.2412.04416,
title = {FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning},
author = {Pranab Sahoo and Ashutosh Tripathi and Sriparna Saha and Samrat Mondal},
journal= {arXiv preprint arXiv:2412.04416},
year = {2026}
}
备注
Transactions on Machine Learning Research (TMLR)