基于生成对抗网络（GANs）的经验深度强化学习用于无模型超可靠低时延通信
信息论
2020-10-15 v2 机器学习
网络与互联网体系结构
math.IT
机器学习
摘要
本文提出一种新颖的经验深度强化学习（deep-RL）框架，为超可靠低时延通信（URLLC）提供无模型资源分配。所提出的经验 deep-RL 框架可在显式数据速率约束下，为各无线用户保证高端到端可靠性和低端到端时延，而无需任何用户流量的模型或假设。具体而言，为使 deep-RL 框架能应对极端网络条件并在高可靠系统中运行，提出了一种基于生成对抗网络（GANs）的新方法。该 GAN 方法使用真实与合成数据的混合来预训练 deep-RL 框架，从而创建一个已暴露于广泛网络条件的经验 deep-RL 框架。形式上，URLLC 资源分配问题被表述为可靠性、时延和速率约束下的功率最小化问题。为使用经验 deep-RL 求解该问题，首先确定各用户的速率。然后，将这些速率映射到所研究无线系统的资源块和功率分配向量。最后，各用户的端到端可靠性和时延用作 deep-RL 框架的反馈。随后表明，在 deep-RL 算法的不动点处，用户的可靠性和时延接近最优。此外，针对所提 GAN 方法，解析推导了生成器输出的理论极限。仿真结果显示了所提方法如何在速率-可靠性-时延区域内依据网络与服务需求实现近最优性能。结果还表明，所提经验 deep-RL 框架能够消除使常规 deep-RL 方法不适用于 URLLC 的瞬态训练时间。
引用
@article{arxiv.1911.03264,
title = {Experienced Deep Reinforcement Learning with Generative Adversarial Networks (GANs) for Model-Free Ultra Reliable Low Latency Communication},
author = {Ali Taleb Zadeh Kasgari and Walid Saad and Mohammad Mozaffari and H. Vincent Poor},
journal= {arXiv preprint arXiv:1911.03264},
year = {2020}
}