受神经崩溃启发的非独立同分布数据联邦学习
机器学习
2023-04-03 v2 计算机视觉与模式识别
摘要
联邦学习的挑战之一在于异构设备间的非独立同分布 (non-iid) 特性，其导致本地更新的显著差异并影响中央服务器的性能。尽管已有诸多研究应对该挑战，但它们仅关注本地训练与聚合过程以平滑变化，未能借助深度学习模型取得高性能。受神经崩溃现象启发，我们强制每个客户端朝分类的最优全局结构优化。具体而言，我们将其初始化为随机单纯形等角紧框架 (ETF) 并在本地更新中固定为所有客户端的单位优化目标。在保障所有客户端学习收敛至全局最优后，我们提出为每类添加全局记忆向量，以补救客户端间类内条件分布偏置引起的参数波动。实验结果表明，我们的方法在不同规模数据集上以更快收敛速度提升了性能。
引用
@article{arxiv.2303.16066,
title = {Neural Collapse Inspired Federated Learning with Non-iid Data},
author = {Chenxi Huang and Liang Xie and Yibo Yang and Wenxiao Wang and Binbin Lin and Deng Cai},
journal= {arXiv preprint arXiv:2303.16066},
year = {2023}
}
备注
11 pages, 5 figures