面向非 IID 数据的联邦损耗探索以实现更佳收敛
机器学习
2025-06-24 v1 人工智能
摘要
联邦学习 (FL) 已成为机器学习 (ML) 中的突破性范式，提供了在不同数据集之间进行隐私保护的协作模型训练能力。尽管其前景广阔，但 FL 在非独立同分布 (non-IID) 数据情景下面临重大挑战，大多数现有方法在数据异构性和性能鲁棒性方面不堪一击。本文引入一种新颖方法——联邦损耗探索 (FedLEx)，旨在针对这些挑战进行创新设计。FedLEx distinctively addresses 现有 FL 方法在 non-IID 设置下的不足，通过针对数据异构性假设不切实际或未知的情景进行学习行为优化。它采用联邦损耗探索技术，客户端通过计算模型参数的梯度偏差来为全局引导矩阵贡献。该矩阵作为战略指南，引导客户端在后续 FL 轮次中的梯度更新，从而促进全局模型的最优参数更新。FedLEx 有效地导航了 non-IID 数据固有的复杂损耗表面，通过仅需少量 epoch 和少量数据即可构建强大的全局引导矩阵，在无需额外数据共享或数据分布统计的情况下实现模型收敛。我们进行了与最先进 FL 算法的广泛实验，结果在真实的 non-IID 条件下显著提升性能，凸显了 FedLEx 克服多样化 FL 应用中关键障碍的潜力。
引用
@article{arxiv.2506.18640,
title = {Federated Loss Exploration for Improved Convergence on Non-IID Data},
author = {Christian Internò and Markus Olhofer and Yaochu Jin and Barbara Hammer},
journal= {arXiv preprint arXiv:2506.18640},
year = {2025}
}