基于全局抽样的并行分离学习
数据结构与算法
2024-07-23 v1
摘要
并行分离学习 (PSL) 面临两个交织的问题:有效 batch 大小随客户端数量的增大，以及数据非独立同分布 (non-IID) 导致全局 batch 的偏斜。我们提出了基于全局抽样的并行分离学习 (GPSL)，一种由服务器驱动的方案，固定全局 batch 大小，同时计算每个客户端的 batch 大小计划。实际样本由每个选中客户端在不替换的情况下本地抽取。这消除了 per-class 四舌，使有效 batch 脱离与客户端数量的关联，使每个全局 batch 的分布等价于中心化的无替换均匀抽样。因此，我们通过 Serfling 不等式获得了 finite-population deviation guarantees，实现了与本地抽样方案相比的零四舌偏差。GPSL 是一种可直接替换 PSL 的方案，开销可忽略不计，并可扩展至大型客户端群体。在对 CIFAR-10/100 和 ResNet-18/34 在 non-IID 分割下进行的大量实验中，GPSL 稳定了优化，实现了接近中心化的准确率，而固定的本地 batch 相比之下可低至 60%。此外，GPSL 通过避免数据耗竭导致的训练步骤膨胀，缩短了训练时间。这些发现表明，GPSL 是一种有前景且可扩展的资源受限环境下的学习方法。
引用
@article{arxiv.2407.15737,
title = {Scheduling on a Stochastic Number of Machines},
author = {Moritz Buchem and Franziska Eberle and Hugo Kooki Kasuya Rosado and Kevin Schewior and Andreas Wiese},
journal= {arXiv preprint arXiv:2407.15737},
year = {2024}
}