FedFM：基于锚点的特征匹配用于联邦学习中的数据异构性
机器学习
2022-10-17 v1
摘要
联邦学习（FL）的关键挑战之一是客户端间局部数据分布异构性，这可能导致客户端间特征空间不一致。为解决此问题，我们提出一种新方法FedFM，其引导每个客户端的特征去匹配共享的类别级锚点（特征空间中的地标）。该方法试图通过对齐每个客户端的特征空间，来缓解FL中数据异构性的负面影响。此外，我们应对了目标函数变化带来的挑战，并为FedFM提供了收敛性保证。在FedFM中，为缓解跨类别特征空间重叠现象并增强特征匹配的有效性，我们进一步提出一种更精确有效的特征匹配损失，称为对比引导（CG），其引导每个局部特征与对应锚点匹配，同时远离非对应锚点。另外，为实现更高效率与灵活性，我们提出一种FedFM变体，称为FedFM-Lite，其中客户端以更少的同步次数和通信带宽成本与服务器通信。通过大量实验，我们以定量与定性比较证明带CG的FedFM优于若干已有工作。FedFM-Lite能以五到十倍更少的通信成本达到优于最先进方法的性能。
引用
@article{arxiv.2210.07615,
title = {FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning},
author = {Rui Ye and Zhenyang Ni and Chenxin Xu and Jianyu Wang and Siheng Chen and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2210.07615},
year = {2022}
}
备注
14 pages, 8 figures