Fed-QSSL：一种在位宽和数据异构性下的个性化联邦学习框架
机器学习
2023-12-22 v1 系统与控制
系统与控制
摘要
受集中式机器学习方案的高资源成本以及数据隐私问题的驱动，联邦学习（FL）作为一种高效的替代方案应运而生，它依赖于聚合本地训练的模型，而不是收集客户端潜在的隐私数据。在实践中，可用资源和数据分布因客户端而异，造成了固有的系统异构性，导致传统 FL 算法性能下降。在本工作中，我们提出了一种基于联邦量化的自监督学习方案（Fed-QSSL），旨在解决 FL 系统中的异构性问题。在客户端，为了应对数据异构性，我们利用分布式自监督学习，同时利用低位量化来满足本地基础设施和有限通信资源施加的约束。在服务器端，Fed-QSSL 部署去量化、加权聚合和重新量化，最终创建针对每个客户端的数据分布以及特定基础设施进行个性化的模型。我们在真实世界数据集上验证了所提出的算法，证明了其有效性，并在理论上分析了低位训练对所学模型收敛性和鲁棒性的影响。
引用
@article{arxiv.2312.13380,
title = {Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity},
author = {Yiyue Chen and Haris Vikalo and Chianing Wang},
journal= {arXiv preprint arXiv:2312.13380},
year = {2023}
}
备注
This work has been accepted at the 38th AAAI Conference on Artificial Intelligence (AAAI-24)