虚拟同质性学习:抵御联邦学习中的数据异质性
机器学习
2022-06-27 v2 人工智能
分布式、并行与集群计算
摘要
在联邦学习(FL)中,模型性能通常受数据异质性引起的客户端漂移影响,主流工作聚焦于纠正客户端漂移。我们提出一种名为虚拟同质性学习(VHL)的不同方法,直接“修正”数据异质性。具体而言,VHL使用精心构建的虚拟同质数据集进行FL,该数据集满足两个条件:不含私有信息且可分离。该虚拟数据集可由跨客户端共享的纯噪声生成,旨在校准来自异质客户端的特征。理论上,我们证明VHL能在自然分布上实现可证明的泛化性能。在经验上,我们展示VHL赋予FL大幅改善的收敛速度与泛化性能。VHL是首个利用虚拟数据集解决数据异质性的尝试,为FL提供了新颖而有效的手段。
引用
@article{arxiv.2206.02465,
title = {Virtual Homogeneity Learning: Defending against Data Heterogeneity in Federated Learning},
author = {Zhenheng Tang and Yonggang Zhang and Shaohuai Shi and Xin He and Bo Han and Xiaowen Chu},
journal= {arXiv preprint arXiv:2206.02465},
year = {2022}
}