强化学习遇见 IEEE 802.11be 中的多链路操作：基于多头循环软演员-评论家的流量分配
网络与互联网体系结构
2023-03-17 v1
摘要
IEEE 802.11be——极高吞吐量，商业上称为 Wireless-Fidelity（Wi-Fi）7，是最新的 IEEE 802.11 修正案，旨在应对日益高吞吐量的业务，如超高清（4K/8K）视频和虚拟/增强现实（VR/AR）。为此，IEEE 802.11be 提出了一系列将 Wi-Fi 技术推向极限的新特性。其中，多链路操作（MLO）设备有望成为现实，使单链路操作（SLO）Wi-Fi 成为过去。为实现卓越吞吐量和极低延迟，必须精心设计支持 MLO 的设备中入站流量的分配方式。在本文中，我们提出一种名为多头循环软演员-评论家（MH-RSAC）的强化学习（RL）算法，用于在 802.11be 支持 MLO 的网络中分配入站流量。此外，我们将结果与文献中先前提出的两种非 RL 基线进行比较：单链路较不拥塞接口（SLCI）和流到达时多链路拥塞感知负载均衡（MCAA）。仿真结果表明，与 SLCI 和 MCAA 算法相比，MH-RSAC 算法在吞吐量下降比（TDR）方面分别获得高达 35.2% 和 6% 的收益。最后，我们观察到，与基线相比，我们的方案能够更高效地处理高吞吐量和动态流量，如 VR 和网页浏览（WB）。结果显示，MH-RSAC 方案在流满足度（FS）方面比 SCLI 和 MCAA 算法分别提高了高达 25.6% 和 6%。
引用
@article{arxiv.2303.08959,
title = {RL meets Multi-Link Operation in IEEE 802.11be: Multi-Headed Recurrent Soft-Actor Critic-based Traffic Allocation},
author = {Pedro Enrique Iturria Rivera and Marcel Chenier and Bernard Herscovici and Burak Kantarci and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2303.08959},
year = {2023}
}
备注
Accepted in ICC'23