FedSym：释放熵的力量以基准测试联邦学习算法
机器学习
2023-10-13 v1
摘要
联邦学习（FL）是一种去中心化的机器学习方法，其中独立的 learner 在本地私密地处理数据。其目标是通过多轮聚合与重训练本地模型来创建鲁棒且准确的模型。然而，FL 面临数据异构性和模型聚合有效性的挑战。为了模拟真实世界数据，研究者使用数据划分方法，将指定用于集中式学习的数据集转换为适用于具有不同数据异构性的分布式机器学习的子数据集组。本文中，我们研究了当前流行的数据划分技术，并可视化了其主要缺点：数据多样性缺乏精确性，导致不可靠的异构性指标，以及无法增量式地挑战 FL 算法。为解决该问题，我们提出了一种利用熵与对称性来构建具有渐进难度的“最具挑战性”且可控的数据分布的方法。我们引入了一种衡量学习 agent 间数据异构性的指标，以及一种将任意数据集划分为具有精确数据多样性的切分的转换技术。通过对比研究，我们证明了我们的方法优于现有的 FL 数据划分方法，展示了其挑战模型聚合算法的潜力。实验结果表明，我们的方法逐步挑战 FL 策略，且在 FedSym 分布上训练的模型更具区分度。
引用
@article{arxiv.2310.07807,
title = {FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning},
author = {Ensiye Kiyamousavi and Boris Kraychev and Ivan Koychev},
journal= {arXiv preprint arXiv:2310.07807},
year = {2023}
}