面向下一代 WiFi 网络系统的深度强化学习功率控制

本文提出了一种用于无线通信中功率控制的深度强化学习（DRL）方案，描述了其在 WiFi 网络系统中结合 WiFi 收发器的嵌入式实现，并通过高保真仿真测试评估了性能。在多跳无线网络中，每个移动节点测量其链路质量和信号强度，并控制其发射功率。作为一种无模型方案，强化学习允许节点通过观察状态随时间调整动作并最大化其累积奖励。对于每个节点，状态由发射功率、链路质量和信号强度组成；动作调整发射功率；奖励结合了能量效率（吞吐量除以能耗）和改变发射功率的惩罚。由于状态空间较大，Q-learning 难以在内存和处理能力有限的嵌入式平台上实现。通过用 DQN 近似 Q 值，DRL 在每个节点的嵌入式平台上实现，该平台结合了 ARM 处理器和用于 802.11n 的 WiFi 收发器。通过在射频信号上引入真实信道效应，进行了可控且可重复的仿真测试。与固定和短视功率分配的基准方案的性能比较表明，采用 DRL 的功率控制显著提升了 WiFi 网络系统的能量效率和吞吐量。