关于流式联邦学习中的本地缓存更新规则
机器学习
2023-03-30 v1 人工智能
摘要
在本研究中，我们探讨了新兴的流式联邦学习（SFL）领域，并提出了本地缓存更新规则以管理动态数据分布和有限的缓存容量。传统联邦学习依赖于固定数据集，而在 SFL 中，数据是流式的且其分布随时间变化，导致本地训练数据集与长期分布之间存在偏差。为缓解该问题，我们提出了三种本地缓存更新规则——先进先出（FIFO）、静态比例选择性替换（SRSR）和动态比例选择性替换（DRSR）——在考虑有限缓存容量的同时更新每个客户端的本地缓存。此外，我们推导了所提 SFL 算法的收敛界，作为长期数据分布与客户端本地训练数据集之间分布偏差的函数。随后我们在两个数据集上评估了所提算法：网络流量分类数据集和图像分类数据集。我们的实验结果表明，所提本地缓存更新规则显著降低了分布偏差并优于基线方法。我们的研究推进了 SFL 领域，并提供了联邦学习中实用的缓存管理方案。
引用
@article{arxiv.2303.16340,
title = {On the Local Cache Update Rules in Streaming Federated Learning},
author = {Heqiang Wang and Jieming Bian and Jie Xu},
journal= {arXiv preprint arXiv:2303.16340},
year = {2023}
}