面向异构无线网络中载波侦听多址接入的非均匀时间步深度 Q 网络
网络与互联网体系结构
2019-10-14 v1
摘要
本文研究一类采用深度强化学习(DRL)技术的新型载波侦听多址(CSMA)协议,称为载波侦听深度强化学习多址接入(CS-DLMA)。CS-DLMA 的目标是在一组共址的异构无线网络间实现高效且公平的频谱共享。现有 CSMA 协议(如 WiFi 的介质访问控制(MAC))是为所有节点采用相同协议的同构网络设计的。此类协议在存在采用其他 MAC 协议的节点的异构环境中性能严重下降。CS-DLMA 旨在利用 DRL 规避该问题。特别地,本文采用 alpha-公平性作为 CS-DLMA 的总体目标。借助 alpha-公平性,CS-DLMA 可通过改变 alpha 的值,在与其它 MAC 共存时实现一系列不同目标。CS-DLMA 的一个显著特征是,它能在不知晓共存 MAC 的情况下,通过基于 DRL 的学习过程实现这些目标。CS-DLMA 的底层 DRL 技术是深度 Q 网络(DQN)。然而,传统 DQN 算法因其均匀时间步假设而不适用于 CS-DLMA。在 CSMA 协议中,时间步是非均匀的:载波侦听所需时间小于数据传输的持续时间。本文引入 DQN 的非均匀时间步表述以解决此问题。我们的仿真结果表明,CS-DLMA 可通过调整自身传输策略,在与 TDMA、ALOHA 和 WiFi 协议共存时实现通用的 alpha-公平性目标。有趣的是,我们还发现,在与 WiFi 共存时,CS-DLMA 比其他 CSMA 协议更具帕累托效率。
引用
@article{arxiv.1910.05221,
title = {Non-Uniform Time-Step Deep Q-Network for Carrier-Sense Multiple Access in Heterogeneous Wireless Networks},
author = {Yiding Yu and Soung Chang Liew and Taotao Wang},
journal= {arXiv preprint arXiv:1910.05221},
year = {2019}
}
备注
14 pages, 11 figures