合作与否：基于多臂老虎机迁移学习的 Wi-Fi 空间复用
网络与互联网体系结构
2022-11-30 v1
摘要
随着流媒体视频、游戏等高要求服务的无线设备呈指数级增长，给无线局域网（WLAN）带来了诸多挑战。在 Wi-Fi 领域，IEEE 802.11ax 在密集用户部署场景中提供了高数据速率。此外，它在物理层引入了新的灵活特性，如动态空闲信道评估（CCA）阈值，旨在应对密集场景下无线电频谱稀缺问题，从而改善空间复用（SR）。本文中，我们将发射功率（TP）和 CCA 配置问题形式化为一个以最大化公平性和最小化站点饥饿为目标的问题。我们提出了使用多智能体多臂老虎机（MAMAB）进行分布式 SR 优化的四个主要贡献。首先，考虑到每个接入点（AP）的 TP 和 CCA 阈值组合动作空间的巨大基数，我们提出缩减动作空间。其次，我们提出了两种深度多智能体上下文 MAB（MA-CMAB），分别命名为样本平均不确定性合作版（SAU-Coop）和非合作版（SAU-NonCoop），以改善 SR。此外，我们基于 e-greedy、置信上界（UCB）和 Thompson 技术，分析了使用 MA-MAB 解决方案时合作是否有益。最后，我们提出了一种深度强化迁移学习技术，以提高动态环境中的适应性。仿真结果表明，通过 SAU-Coop 算法进行合作，与无合作方法相比，累计吞吐量提高了 14.7%，丢包率（PLR）改善了 32.5%。最后，在动态场景下，迁移学习有助于为至少 60% 的用户缓解服务中断。
引用
@article{arxiv.2211.15741,
title = {Cooperate or not Cooperate: Transfer Learning with Multi-Armed Bandit for Spatial Reuse in Wi-Fi},
author = {Pedro Enrique Iturria-Rivera and Marcel Chenier and Bernard Herscovici and Burak Kantarci and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2211.15741},
year = {2022}
}
备注
9 pages, 7 figures