移动感知联邦学习网络中的资源分配:一种深度强化学习方法
网络与互联网体系结构
2019-10-22 v1 机器学习
信号处理
摘要
联邦学习允许移动设备(即工作节点)使用其本地数据协作训练模型所有者所需的全局模型。因此,联邦学习解决了传统机器学习的隐私问题。然而,联邦学习面临工作节点的能量约束以及由于可能需要多次全局模型传输以达到目标精度而导致的高网络资源成本。为解决能量约束,可使用功率信标对工作节点进行能量补充。然而,模型所有者可能需要为能量补充向功率信标支付能量成本。为解决高网络资源成本,模型所有者可使用称为默认信道的 WiFi 信道进行全局模型传输。然而,由于默认信道质量的不稳定性,可能发生通信中断。为此,可使用 LTE 信道等特殊信道,但这会产生信道成本。因此,模型所有者的问题在于决定补充给工作节点的能量量,并选择用于向其工作节点传输全局模型的信道,以在最小化能量和信道成本的同时最大化全局模型传输次数。在信道、能量和工作节点移动状态不确定的情况下,这对模型所有者而言具有挑战性。在本文中,我们因此提出采用深度 Q 网络(DQN),使模型所有者能够在无任何先验网络知识的情况下找到关于能量和信道的最优决策。仿真结果表明,所提出的 DQN 始终比传统算法取得更好的性能。
引用
@article{arxiv.1910.09172,
title = {Resource Allocation in Mobility-Aware Federated Learning Networks: A Deep Reinforcement Learning Approach},
author = {Huy T. Nguyen and Nguyen Cong Luong and Jun Zhao and Chau Yuen and Dusit Niyato},
journal= {arXiv preprint arXiv:1910.09172},
year = {2019}
}