Comfetch：通过草图在受限客户端上联邦学习大型网络
机器学习
2023-10-03 v2
摘要
联邦学习（FL）是一种在边缘端进行隐私协同模型训练的流行范式。在中心化 FL 中，全局架构（如深度神经网络）的参数由中心服务器/控制器维护并分发给客户端，客户端基于本地优化将模型更新（梯度）传回服务器。尽管诸多工作致力于降低梯度传输的通信复杂度，绝大多数基于压缩的算法假定每个参与客户端能够下载并训练当前完整参数集，依较小客户端（如移动设备）的资源约束，此假定未必现实。本工作中，我们提出一种简单而有效的新算法 Comfetch，其允许客户端通过 count sketch 使用全局架构的约简表示来训练大型网络，从而降低本地计算与内存成本以及双向通信复杂度。我们给出非凸收敛保证，并经实验证明可通过对其草图对应体进行联邦训练来学习大型模型（如深度卷积网络）。所得全局模型在 CIFAR10/100 分类上相较未压缩模型训练具竞争性的测试精度。
引用
@article{arxiv.2109.08346,
title = {Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching},
author = {Tahseen Rabbani and Brandon Feng and Marco Bornstein and Kyle Rui Sang and Yifan Yang and Arjun Rajkumar and Amitabh Varshney and Furong Huang},
journal= {arXiv preprint arXiv:2109.08346},
year = {2023}
}