FLStore：面向非训练工作负载的高效联邦学习存储
机器学习
2025-03-04 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种隐私保护的机器学习方法，允许多个客户端在不集中收集数据的情况下进行模型训练。聚合服务器负责协调训练、聚合模型更新以及跨轮次存储元数据。除训练外，联邦学习系统中相当大一部分工作负载为非训练工作负载，如调度、个性化、聚类、调试和激励。大多数现有系统依赖聚合服务器处理非训练工作负载，并使用云服务进行数据存储。这导致了高延迟和成本增加，因为非训练工作负载依赖大量元数据，包括客户端更新的权重参数、超参数以及跨轮次的聚合更新，使情况更加恶化。我们提出了 FLStore，一个面向高效联邦学习非训练工作负载与存储的无服务器框架。FLStore 将数据与计算平面统一在无服务器缓存上，通过定制的缓存策略实现感知局部性的执行，从而降低延迟与成本。经评估，与基于云对象存储的聚合服务器相比，FLStore 将每次请求的平均延迟降低 71%，成本降低 92.45%，峰值改善分别为 99.7% 和 98.8%。与基于内存云的缓存聚合服务器相比，FLStore 将平均延迟降低 64.6%，成本降低 98.83%，峰值改善分别为 98.8% 和 99.6%。FLStore 与现有联邦学习框架无缝集成，只需极少修改，同时具备容错性和高可扩展性。
引用
@article{arxiv.2503.00323,
title = {FLStore: Efficient Federated Learning Storage for non-training workloads},
author = {Ahmad Faraz Khan and Samuel Fountain and Ahmed M. Abdelmoniem and Ali R. Butt and Ali Anwar},
journal= {arXiv preprint arXiv:2503.00323},
year = {2025}
}
备注
11 pages, 19 figures, 2 tables This paper has been accepted at the The Eighth Annual Conference on Machine Learning and Systems (MLSys 2025)