联邦学习中安全性与通信效率的协调
机器学习
2022-07-27 v1 人工智能
分布式、并行与集群计算
摘要
跨设备联邦学习（Federated Learning）是一种日益流行的机器学习设定，它利用大量客户端设备训练模型，并提供高度的隐私与安全性保障。然而，在将联邦学习扩展到生产环境时，通信效率仍是一个主要瓶颈，尤其是在上行通信的带宽限制方面。在本文中，我们形式化并解决了在安全聚合（Secure Aggregation）原语下压缩客户端到服务器模型更新的问题；安全聚合是联邦学习流程的核心组件，使服务器能够聚合客户端更新而无需单独访问它们。具体而言，我们将标准的标量量化和剪枝方法适配于安全聚合，并提出了安全索引（Secure Indexing），一种支持量化以实现极致压缩的安全聚合变体。我们在 LEAF 基准上取得了最先进（state-of-the-art）的结果，在安全的联邦学习设置中实现了高达 40 的上行通信压缩，且与未压缩基线相比效用无显著损失。
引用
@article{arxiv.2207.12779,
title = {Reconciling Security and Communication Efficiency in Federated Learning},
author = {Karthik Prasad and Sayan Ghosh and Graham Cormode and Ilya Mironov and Ashkan Yousefpour and Pierre Stock},
journal= {arXiv preprint arXiv:2207.12779},
year = {2022}
}