大规模能量收集网络的分布式功率控制: 一种多智能体深度强化学习方法
机器学习
2019-10-23 v2 人工智能
信息论
math.IT
机器学习
摘要
在本文中,我们开发了一个多智能体强化学习(MARL)框架,在仅可获得关于能量收集(EH)过程和无线信道的因果信息时,为大规模能量收集(EH)多址信道获取在线功率控制策略。在所提框架中,我们将在线功率控制问题建模为离散时间平均场博弈(MFG),并从解析上证明该 MFG 具有唯一的平稳解。接下来,我们利用平均场博弈的虚拟博弈性质,以及深度强化学习技术,以完全分布式的方式学习博弈的平稳解。我们从解析上证明所提过程收敛到 MFG 的唯一平稳解。这反过来确保了最优策略可以以完全分布式的方式学习。为了基准测试分布式策略的性能,我们还开发了基于深度神经网络(DNN)的集中式以及分布式在线功率控制方案。我们的仿真结果显示了所提功率控制策略的有效性。特别是,基于 DNN 的集中式功率控制策略为大规模 EH 网络提供了非常好的性能,而这类网络使用常规方法(如马尔可夫决策过程)设计最优策略是难以处理的。此外,两种分布式策略的性能都接近于集中式策略所实现的吞吐量。
引用
@article{arxiv.1904.00601,
title = {Distributed Power Control for Large Energy Harvesting Networks: A Multi-Agent Deep Reinforcement Learning Approach},
author = {Mohit K. Sharma and Alessio Zappone and Mohamad Assaad and Merouane Debbah and Spyridon Vassilaras},
journal= {arXiv preprint arXiv:1904.00601},
year = {2019}
}