物联网网络中用于联合时延与能耗最小化的联邦双重深度 Q 学习
网络与互联网体系结构
2021-04-26 v1 机器学习
摘要
在本文中，我们提出一种联邦深度强化学习框架来解决一个多目标优化问题，其中我们考虑最小化 IoT 设备的期望长期任务完成时延与能耗。这是通过优化卸载决策、计算资源分配与发射功率分配来完成的。由于公式化的问题是混合整数非线性规划（MINLP），我们首先将问题转化为多智能体分布式深度强化学习（DRL）问题，并使用双重深度 Q 网络（DDQN）解决，其中动作为卸载决策。每个智能体的即时代价通过基于所选卸载决策（动作）求解发射功率优化或本地计算资源优化来计算。然后，为提升 IoT 设备（智能体）的学习速度，我们在每轮结束时引入联邦学习（FDL）。FDL 增强了所提 DRL 框架的可扩展性，创建了智能体间的合作情境，并最小化其隐私担忧。我们的数值结果展示了相比联邦深度 Q 网络（DQN）与非联邦 DDQN 算法，我们所提联邦 DDQN 框架在学习速度方面的有效性。此外，我们研究了批大小、网络层数、DDQN 目标网络更新频率对 FDL 学习速度的影响。
引用
@article{arxiv.2104.11320,
title = {Federated Double Deep Q-learning for Joint Delay and Energy Minimization in IoT networks},
author = {Sheyda Zarandi and Hina Tabassum},
journal= {arXiv preprint arXiv:2104.11320},
year = {2021}
}
备注
Accepted, in IEEE International Conference on Communications (ICC) Workshops, 2021