基于深度Q学习的自适应竞争窗口设计
信号处理
2020-11-19 v1 机器学习
摘要
我们研究随机接入无线网络中自适应竞争窗口(CW)设计的问题。更确切地说,我们的目标是设计一个智能节点,该节点能够动态适应其最小CW(MCW)参数,以在既不知道其他节点的MCW也不知道这些参数如何随时间变化的情况下最大化网络级效用。为实现这一目标,我们采用强化学习(RL)框架,利用本地信道观测来规避系统知识的缺失,并对导致高效用的动作给予奖励。为高效学习这些偏好动作,我们遵循深度Q学习方法,其中Q值函数使用多层感知机进行参数化。特别地,我们实现了一个rainbow智能体,它融合了针对基础深度Q网络的若干经验性改进。基于NS3模拟器的数值实验表明,所提出的RL智能体性能接近最优,并显著优于现有的基于学习与非学习的替代方案。
引用
@article{arxiv.2011.09418,
title = {Adaptive Contention Window Design using Deep Q-learning},
author = {Abhishek Kumar and Gunjan Verma and Chirag Rao and Ananthram Swami and Santiago Segarra},
journal= {arXiv preprint arXiv:2011.09418},
year = {2020}
}