联邦学习算法效率与隐私的实证研究
机器学习
2023-12-27 v1 密码学与安全
分布式、并行与集群计算
摘要
在当今世界，物联网网络的快速扩张和智能设备在日常生活中的普及，导致了大量异构数据的生成。这些数据形成了一种需要特殊处理的流。为了有效处理这些数据，必须采用先进的数据处理技术，以保证隐私和效率的保存。联邦学习作为一种分布式学习方法应运而生，它在本地训练模型并在服务器上聚合，以保护数据隐私。本文展示了两个说明性场景，突出了联邦学习（FL）作为在物联网网络中提供高效且保护隐私的机器学习的关键潜力。我们首先给出了联邦学习中关键聚合算法（即 FedAvg 和 FedProx）的数学基础。然后，我们使用 Flower Framework 进行模拟，通过在常见数据集上训练深度神经网络来展示这些算法的\textit{效率}，并比较 FedAvg 和 FedProx 的准确率和损失指标。接着，我们展示了强调在维持隐私与准确性之间权衡的结果，这些结果涉及在 Pytorch 和 Opacus ML 框架上实施差分隐私（DP）方法，针对 FedAvg 和 FedProx 策略在常见 FL 数据集和数据分布上进行模拟。
引用
@article{arxiv.2312.15375,
title = {An Empirical Study of Efficiency and Privacy of Federated Learning Algorithms},
author = {Sofia Zahri and Hajar Bennouri and Ahmed M. Abdelmoniem},
journal= {arXiv preprint arXiv:2312.15375},
year = {2023}
}