FedConv：增强卷积神经网络以处理联邦学习中的数据异构性
计算机视觉与模式识别
2023-10-09 v1
摘要
联邦学习（FL）是机器学习中一种新兴范式，其中使用来自多个设备的数据协同学习共享模型，以降低数据泄露风险。尽管近期研究认为视觉 Transformer（ViT）在解决 FL 中数据异构性方面优于卷积神经网络（CNNs），但支撑该优势的具体架构组件尚待阐明。本文中，我们系统研究了不同架构元素（如激活函数与归一化层）对异构 FL 中性能的影响。通过严谨的实证分析，我们首次就异构 FL 的微架构设计原则给出了通用性指导。有趣的是，我们的发现表明，通过策略性架构修改，纯 CNN 在处理 FL 中异构数据客户端时，可达到与 ViT 相当甚至超越 ViT 的鲁棒性。此外，我们的方法兼容现有 FL 技术，并在广泛 FL 基准上提供最先进的解决方案。代码公开于 https://github.com/UCSC-VLAA/FedConv
引用
@article{arxiv.2310.04412,
title = {FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning},
author = {Peiran Xu and Zeyu Wang and Jieru Mei and Liangqiong Qu and Alan Yuille and Cihang Xie and Yuyin Zhou},
journal= {arXiv preprint arXiv:2310.04412},
year = {2023}
}
备注
9 pages, 6 figures. Equal contribution by P. Xu and Z. Wang