能量收集协作中继网络中用于时延优化的分布式功率控制

我们考虑具有能量收集（EH）中继的协作通信，并为中继终端开发了一种分布式功率控制机制。与以往主要处理具有饱和业务流的单中继系统的研究不同，我们处理的是由多个半双工EH中继协作转发的源端突发数据到达情况。我们旨在在每个中继的功率消耗能量中性约束下，优化源数据包的长期平均时延。尽管EH中继系统主要使用离线或在线方法进行优化，但我们采用了一种更切实际的学习理论方法。因此，我们的方案可以部署于实时操作中，既不需要像离线优化那样假设信道实现、数据/能量到达的非因果信息，也不依赖像在线优化那样对系统过程的精确统计。我们将该问题表述为具有分解控制器的部分可观测同酬随机博弈（PO-IPSG），其中每个中继的功率控制策略自适应于其局部的源到中继/中继到目的信道状态、其局部能量状态以及源缓冲区状态信息。我们推导出一种多智能体强化学习算法，该算法收敛于所建立的PO-IPSG的局部最优解。所提出的算法在中继之间无需显式消息交换即可运行，同时仅产生少量的源-中继信令开销。通过仿真，我们将所提方法的时延性能与现有的用于最大化吞吐量的启发式方法进行了对比。结果表明，与这些启发式方法相比，一旦与配备完美统计量的集中式最优策略进行评估，本文采用的系统性方法具有更小的次优性差距。