FedEval：联邦学习的整体评估框架
机器学习
2022-12-27 v3 密码学与安全
分布式、并行与集群计算
性能
摘要
联邦学习（FL）已被广泛接受为不收集原始数据的隐私保护机器学习解决方案。尽管过去几年提出的新技术确实推动了 FL 领域发展，遗憾的是，这些工作中呈现的评估结果因评估指标与实验设置不一致而缺乏完整性且难以比较。本文中，我们提出一个名为 FedEval 的联邦学习整体评估框架，并对七种最先进 FL 算法给出基准研究。具体而言，我们首先引入核心评估分类模型 FedEval-Core，其涵盖 FL 的四个基本评估方面：隐私性、鲁棒性、有效性与效率，并配有各种明确定义的度量与实验设置。基于 FedEval-Core，我们进一步开发了具有标准化评估设置与易用接口的 FL 评估平台。随后我们对七种知名 FL 算法（包括 FedSGD、FedAvg、FedProx、FedOpt、FedSTC、SecAgg 与 HEAgg）开展深入基准研究。我们全面分析这些算法的优劣，并进一步识别不同算法的适用实际场景，这是以往工作极少做到的。最后，我们挖掘了一组可供借鉴的见解与未来研究方向，对 FL 领域研究者极有帮助。
引用
@article{arxiv.2011.09655,
title = {FedEval: A Holistic Evaluation Framework for Federated Learning},
author = {Di Chai and Leye Wang and Liu Yang and Junxue Zhang and Kai Chen and Qiang Yang},
journal= {arXiv preprint arXiv:2011.09655},
year = {2022}
}