协变量偏移下带泛化保证的联邦学习
机器学习
2023-06-09 v1
摘要
本文解决联邦学习(FL)中的客户端内与客户端间协变量偏移问题，重点关注整体泛化性能。为处理协变量偏移，我们制定了一种新的全局模型训练范式，并提出联邦重要性加权经验风险最小化(FTW-ERM)，同时改进密度比匹配方法，而无需完美知晓真实比率的上确界。我们还提出了通信高效的变体FITW-ERM，其隐私保证级别与FL中经典ERM相同。我们从理论上证明，在特定设置下FTW-ERM比经典ERM取得更小的泛化误差。实验结果证明了FTW-ERM在跨客户端的数据分布偏移这一极具挑战性的不平衡联邦设置中优于现有FL基线。
引用
@article{arxiv.2306.05325,
title = {Federated Learning under Covariate Shifts with Generalization Guarantees},
author = {Ali Ramezani-Kebrya and Fanghui Liu and Thomas Pethick and Grigorios Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2306.05325},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research (TMLR)