QuPeL：量化个性化及其在联邦学习中的应用
机器学习
2021-02-24 v1 分布式、并行与集群计算
摘要
传统上，联邦学习（FL）旨在利用多个客户端与一台服务器协作训练单一的全局模型。FL 算法面临的两个自然挑战是各客户端间数据的异构性，以及具有不同资源的客户端的协作。在这项工作中，我们提出了一种量化且个性化的 FL 算法 QuPeL，它在尊重资源多样性的同时促进异构客户端的集体训练。对于个性化，我们允许客户端根据其资源学习具有不同量化参数的压缩个性化模型。为此，我们首先提出了一种通过松弛优化问题来学习量化模型的算法，其中量化值也被一并优化。当参与（联邦）学习过程的每个客户端对量化模型有不同需求（在数值与精度上）时，我们通过为本地客户端目标引入针对全局训练模型的惩罚项以鼓励协作，从而构建了一个量化个性化框架。我们开发了交替近端梯度更新来求解该量化个性化问题，并分析了其收敛性质。在数值实验中，我们表明对量化水平的优化提升了性能，并验证了在异构设置下 QuPeL 优于 FedAvg 与客户端本地训练。
引用
@article{arxiv.2102.11786,
title = {QuPeL: Quantized Personalization with Applications to Federated Learning},
author = {Kaan Ozkara and Navjot Singh and Deepesh Data and Suhas Diggavi},
journal= {arXiv preprint arXiv:2102.11786},
year = {2021}
}