CaBaFL：基于层次化缓存与特征平衡的异步联邦学习
机器学习
2024-07-18 v2 分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）作为一种极具前景的分布式机器学习范式，已被广泛应用于人工智能物联网（Artificial Intelligence of Things, AIoT）应用中。然而，由于海量 AIoT 设备中存在落后节点和数据不平衡问题，FL 的效率和推理能力分别受到严重限制。为了应对上述挑战，我们提出了一种名为 CaBaFL 的新型异步联邦学习方法，该方法包含基于层次化缓存的聚合机制和特征平衡引导的设备选择策略。CaBaFL 同时维护多个中间模型用于本地训练。基于层次化缓存的聚合机制使得每个中间模型能够在多个设备上进行训练，从而对齐训练时间并缓解落后节点问题。具体而言，每个中间模型存储在低层缓存中用于本地训练，当其被足够多的本地设备训练后，将被存储在高层缓存中以进行聚合。为了解决数据不平衡问题，CaBaFL 中的特征平衡引导设备选择策略采用激活分布作为度量指标，使得每个中间模型在聚合前能够跨设备在完全平衡的数据分布上进行训练。实验结果表明，与最先进的 FL 方法相比，CaBaFL 实现了高达 9.26 倍的训练加速和 19.71% 的准确率提升。
引用
@article{arxiv.2404.12850,
title = {CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance},
author = {Zeke Xia and Ming Hu and Dengke Yan and Xiaofei Xie and Tianlin Li and Anran Li and Junlong Zhou and Mingsong Chen},
journal= {arXiv preprint arXiv:2404.12850},
year = {2024}
}