面向分层联邦学习的上下文感知在线客户端选择
机器学习
2021-12-06 v2 人工智能
分布式、并行与集群计算
摘要
与传统机器学习（ML）相比，联邦学习（FL）因能解决移动设备的数据隐私问题而被视为一种有吸引力的框架。使用边缘服务器（ES）作为就近执行模型聚合的中介可降低传输开销，并在低延迟 FL 中展现出巨大潜力，其中 FL 的分层架构（HFL）已受到更多关注。设计合适的客户端选择策略可显著提升训练性能，并已在 FL 研究中被广泛使用。然而，据我们所知，尚无研究聚焦于 HFL。此外，HFL 的客户端选择面临比传统 FL 更多的挑战，例如客户端-ES 对时变连接以及网络运营商（NO）的有限预算。本文研究 HFL 的客户端选择问题，其中 NO 学习成功参与客户端的数量以在每 ES 有限预算下提升训练性能（即每轮选择尽可能多的客户端）。基于上下文组合多臂老虎机（CC-MAB），我们提出了一种称为上下文感知在线客户端选择（COCS）的在线策略。COCS 观测客户端-ES 对的本地计算与传输的侧信息（上下文），并在有限预算下做出客户端选择决策以最大化 NO 的效用。理论上，COCS 在强凸和非凸 HFL 下相较 Oracle 策略均达到次线性后悔。仿真结果也支持了所提 COCS 策略在真实数据集上的有效性。
引用
@article{arxiv.2112.00925,
title = {Context-Aware Online Client Selection for Hierarchical Federated Learning},
author = {Zhe Qu and Rui Duan and Lixing Chen and Jie Xu and Zhuo Lu and Yao Liu},
journal= {arXiv preprint arXiv:2112.00925},
year = {2021}
}