ISFL：面向非独立同分布数据的局部重要性采样联邦学习
机器学习
2024-05-14 v3 人工智能
分布式、并行与集群计算
多智能体系统
摘要
作为一种融合计算与通信的有前景的学习范式，联邦学习（FL）通过分布式客户端的本地训练与周期性共享来推进。由于客户端上数据的非独立同分布（non-i.i.d.）特性，FL 模型面临梯度多样性、性能不佳、收敛性差等问题。本工作旨在通过采用重要性采样（IS）进行本地训练来解决这一关键问题。我们提出了重要性采样联邦学习（ISFL），一个具有理论保证的显式框架。首先，我们推导了 ISFL 的收敛定理以纳入局部重要性采样的影响。接着，我们形式化了选择最优 IS 权重的问题并给出了理论解。我们还采用注水法计算 IS 权重并开发了 ISFL 算法。在 CIFAR-10 上的实验结果很好地契合所提定理，并验证了 ISFL 在非独立同分布数据上获得了更好的性能、采样效率以及可解释性。据我们所知，ISFL 是从局部采样角度提出的首个非独立同分布 FL 解决方案，且与神经网络模型具有理论兼容性。此外，作为一种局部采样方法，ISFL 可轻松迁移至其他新兴 FL 框架中。
引用
@article{arxiv.2210.02119,
title = {ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling},
author = {Zheqi Zhu and Yuchen Shi and Pingyi Fan and Chenghui Peng and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2210.02119},
year = {2024}
}