Fed2：特征对齐的联邦学习
机器学习
2021-11-30 v1 人工智能
摘要
联邦学习通过融合来自本地节点的协作模型从分散数据中学习。然而，FedAvg 传统的基于坐标的模型平均忽略了每个参数所编码的随机信息，并可能遭受结构特征错位之苦。在这项工作中，我们提出 Fed2，一种特征对齐的联邦学习框架，通过在协作模型间建立稳固的结构-特征对齐来解决此问题。Fed2 由两项主要设计组成：首先，我们设计一种面向特征的模型结构适配方法，以确保不同神经网络结构中的显式特征分配。将结构适配应用于协作模型，可在训练极早期初始化具有相似特征信息且可匹配的结构。在联邦学习过程中，我们随后提出一种特征配对平均方案，以保证特征分布对齐，并在 IID 或非 IID 场景下均维持无特征融合冲突。最终，Fed2 能在广泛的同构和异构设定下有效提升联邦学习收敛性能，提供优异的收敛速度、准确率以及计算/通信效率。
引用
@article{arxiv.2111.14248,
title = {Fed2: Feature-Aligned Federated Learning},
author = {Fuxun Yu and Weishan Zhang and Zhuwei Qin and Zirui Xu and Di Wang and Chenchen Liu and Zhi Tian and Xiang Chen},
journal= {arXiv preprint arXiv:2111.14248},
year = {2021}
}
备注
Accepted in KDD 2021