FedFA：基于特征锚的联邦学习以对齐异构数据下的特征与分类器
机器学习
2023-10-19 v4
摘要
联邦学习允许多个客户端协作训练模型而不交换数据，从而保护数据隐私。遗憾的是，由于客户端数据异构，其性能显著下降。常见解决方案是在本地训练期间设计辅助损失以正则化权重发散或特征不一致。然而，我们发现这些方法未达到预期性能，因为它们忽略了客户端间特征不一致与分类器发散之间恶性循环的存在。这种恶性循环导致客户端模型在更发散的分类器下于不一致的特征空间中更新。为打破该恶性循环，我们提出了一种名为基于特征锚的联邦学习（FedFA）的新框架。FedFA利用特征锚同时跨客户端对齐特征并校准分类器。这使得客户端模型在本地训练期间于共享特征空间中使用一致分类器进行更新。理论上，我们分析了FedFA的非凸收敛速率。我们还证明FedFA中特征对齐与分类器校准的集成带来了特征与分类器更新间的良性循环，打破了现有方法中的恶性循环。大量实验表明，在标签分布偏移和特征分布偏移下，FedFA在各种分类数据集上显著优于现有方法。
引用
@article{arxiv.2211.09299,
title = {FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data},
author = {Tailin Zhou and Jun Zhang and Danny H. K. Tsang},
journal= {arXiv preprint arXiv:2211.09299},
year = {2023}
}
备注
Accepted by IEEE Transactions on Mobile Computing