解耦联邦学习：通过不变聚合与多样性迁移应对属性偏斜
机器学习
2022-06-15 v1 人工智能
摘要
属性偏斜阻碍当前联邦学习（FL）框架在客户端间形成一致的优化方向，不可避免地导致性能下降与收敛不稳。核心问题在于：1）非因果且仅在局部有效的领域特定属性被无意混入全局聚合；2）对纠缠属性的单阶段优化无法同时满足泛化与个性化这两个冲突目标。为此，我们提出解耦联邦学习（DFL），将领域特定属性与跨不变属性解耦为两个互补分支，并通过所提交替局部-全局优化独立训练。重要的是，收敛性分析证明即便不完整客户端模型参与全局聚合，FL 系统亦可稳定收敛，这极大拓展了 FL 的应用范围。大量实验验证，在人工合成与真实属性偏斜数据集上，相较 SOTA FL 方法，DFL 使 FL 具备更优性能、更好可解释性与更快收敛速率。
引用
@article{arxiv.2206.06818,
title = {Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring},
author = {Zhengquan Luo and Yunlong Wang and Zilei Wang and Zhenan Sun and Tieniu Tan},
journal= {arXiv preprint arXiv:2206.06818},
year = {2022}
}