结合个性化原型的联邦原型修正以应对偏斜异质性
机器学习
2024-08-26 v2 分布式、并行与集群计算
摘要
联邦学习是一种旨在促进多台分布式设备协作训练模型同时保护用户数据隐私的高效框架。联邦学习面临的一项重大挑战是数据级异质性，即私有数据的偏斜或长尾分布。尽管已有多种方法被提出以应对这一挑战，但大多数方法假设底层全局数据在所有客户端上均匀分布。本文对数据级异质性联邦学习进行了简要综述，并重新定义了一种更实用且更具挑战性的设定，称为偏斜异质联邦学习（SHFL）。据此，我们提出了一种新颖的联邦原型修正与个性化方法，由两部分组成：联邦个性化与联邦原型修正。前者旨在基于私有数据在主导类与少数类之间构建平衡的决策边界，后者利用类间判别性与类内一致性来修正经验原型。在三个流行基准上的实验表明，所提方法优于当前最先进方法，并在个性化与泛化方面均取得了平衡的性能。
引用
@article{arxiv.2408.07966,
title = {Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization},
author = {Shunxin Guo and Hongsong Wang and Shuxia Lin and Zhiqiang Kou and Xin Geng},
journal= {arXiv preprint arXiv:2408.07966},
year = {2024}
}