存在隐藏终端时基于学习的自主信道接入
机器学习
2022-12-06 v2 信息论
多智能体系统
系统与控制
系统与控制
math.IT
摘要
我们考虑自主信道接入（AutoCA）问题，其中一组终端试图以分布式方式通过公共无线信道与接入点（AP）发现通信策略。由于终端拓扑不规则且通信范围有限，AutoCA 的一个实际挑战是隐藏终端问题，该问题在无线网络中因恶化吞吐量与时延性能而臭名昭著。为应对该挑战，本文提出一种新颖的多智能体深度强化学习范式，称为 MADRL-HT，专为存在隐藏终端时的 AutoCA 设计。MADRL-HT 利用拓扑洞察，将每个终端的观测空间转化为与终端数量无关的可扩展形式。为补偿部分可观测性，我们提出了一种回顾机制，使终端能够从载波感知的信道状态以及 AP 的反馈推断其隐藏终端的行为。提出了一种基于窗口的全局奖励函数，借此指导终端在最大化系统吞吐量的同时，于学习过程中平衡各终端的传输机会。大量数值实验验证了我们的方案相较传统载波侦听多路访问/冲突避免（CSMA/CA）协议具有优越性能。
引用
@article{arxiv.2207.03605,
title = {Learning-based Autonomous Channel Access in the Presence of Hidden Terminals},
author = {Yulin Shao and Yucheng Cai and Taotao Wang and Ziyang Guo and Peng Liu and Jiajun Luo and Deniz Gunduz},
journal= {arXiv preprint arXiv:2207.03605},
year = {2022}
}
备注
Keywords: multiple channel access, hidden terminal, multi-agent deep reinforcement learning, Wi-Fi, proximal policy optimization