关于Wasserstein鲁棒联邦学习的泛化性
机器学习
2022-06-06 v1 分布式、并行与集群计算
摘要
在联邦学习中，参与客户端通常拥有非独立同分布（non-i.i.d.）数据，这对泛化到未知分布提出了重大挑战。为此，我们提出一种称为WAFL的Wasserstein分布鲁棒优化方案。利用其对偶性，我们将WAFL构建为一个经验替代风险最小化问题，并使用具有收敛保证的基于局部SGD的算法求解。我们表明WAFL的鲁棒性比相关方法更具一般性，且其泛化界对Wasserstein球（模糊集）内的所有对抗分布均鲁棒。由于Wasserstein球的中心位置和半径可适当调整，WAFL不仅适用于鲁棒性，也适用于域适应。通过实证评估，我们证明在非独立同分布设置下WAFL比原版FedAvg泛化更好，且在分布偏移设置下比其他相关方法更鲁棒。进一步，使用基准数据集我们表明WAFL能够泛化到未知目标域。
引用
@article{arxiv.2206.01432,
title = {On the Generalization of Wasserstein Robust Federated Learning},
author = {Tung-Anh Nguyen and Tuan Dung Nguyen and Long Tan Le and Canh T. Dinh and Nguyen H. Tran},
journal= {arXiv preprint arXiv:2206.01432},
year = {2022}
}