FLaPS：联邦学习与隐私缩放
机器学习
2020-09-15 v1 密码学与安全
分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）是一种分布式学习过程，其中模型（权重和检查点）被传输到拥有数据的设备，而非传统地集中传输和聚合数据。这样，敏感数据不会离开用户设备。FL 使用 FedAvg 算法，该算法以迭代模型平均方式在非独立同分布和不均衡的分布式数据上训练，不依赖于数据量。FL 的一些问题是：1) 无可扩展性，因为模型在所有设备上迭代训练，并随设备掉线而放大；2) 学习过程的安全与隐私权衡仍不够鲁棒；3) 总体通信效率和成本较高。为缓解这些挑战，我们提出联邦学习与隐私缩放（FLaPS）架构，其改善了可扩展性以及系统的安全性和隐私性。设备被分组为簇，从而提供更好的隐私缩放周转时间来完成一轮训练。因此，即使设备在训练中途掉线，整个过程也能在固定时间后重新启动。数据和模型均通过差分隐私报告和迭代洗牌进行通信，提供更好的隐私-效用权衡。我们在 MNIST、CIFAR10 和 TINY-IMAGENET-200 数据集上使用多种 CNN 模型评估了 FLaPS。实验结果证明 FLaPS 是一个改进的时间与隐私缩放环境，相对于中心和 FL 模型具有更好且可比的学习后参数。
引用
@article{arxiv.2009.06005,
title = {FLaPS: Federated Learning and Privately Scaling},
author = {Sudipta Paul and Poushali Sengupta and Subhankar Mishra},
journal= {arXiv preprint arXiv:2009.06005},
year = {2020}
}
备注
5 figures, 8 tables, Accepted to the SLICE 2020