时变衰落信道的最优传输调度策略

毫米波（mmWave）网络有望支持5G及更高通信标准的高吞吐量和低延迟需求。但该频段的传输对来自人类、建筑物和植被的衰落和阻塞极其敏感，这会增加端到端数据包的延迟。本文设计了动态调度策略，以最小化端到端数据包延迟，同时保持数据包传输成本较低。具体而言，我们考虑由Gilbert-Elliott信道模型表示的不可靠通信信道的毫米波网络。发射方在ACK/NACK反馈模型下运行，除尝试传输外不观测信道状态。目标是最小化由端到端数据包延迟和数据包传输成本组成的加权平均成本。我们将该动态优化问题建模为部分可观测马尔可夫决策过程（POMDP）。据我们所知，这是首个针对具有部分信道状态信息的mmWave网络的POMDP建模，同时考虑延迟最小化。我们证明该POMDP的解具有阈值结构，即对于每个队列长度，信念（信道处于良好状态的条件概率）被划分为区间，当信念位于第j个区间时，发射方发送j个数据包。随后，我们考虑系统参数（如数据包到达率和信道转换概率）未知的情况，并利用这些结构结果开发actor-critic算法，以有效搜索局部最优的策略。