基于Whittle指数的多能量收获源网络年龄最小化策略

我们考虑在由多个能量收获(EH)源和接收节点组成的系统中，对源采样和传输调度进行年龄最小化的决策问题。每次调度时，选择一个源节点并测量其到接收节点的信道质量。该探测到的信道质量用于决定该时间槽内是否对该源进行采样并传输数据包至接收节点。我们假设能量到达和信道衰落过程为独立同分布(i.i.d.)，将该问题建模为受约束的马尔可夫决策过程(CMDP)，并通过拉格朗日乘子进行松弛处理。我们应用近似最优的Whittle指数策略来决定被探测的节点。随后，针对被探测的节点，我们推导了最优阈值策略，该策略仅在测量到的信道质量超过阈值时，才建议该源进行采样和观测传输。我们提出的策略称为Whittle指数与阈值基于源调度与采样(Whittle's index and threshold based source scheduling and sampling, WITS3)策略。然而，为了计算Whittle指数，必须了解底层过程的转移矩阵，而这些转移矩阵有时被接收调度器所隐蔽。因此，我们进一步提出了一种基于Q学习辅助的两时刻异步随机逼近的WITS3变体Q-WITS3，用于在信道状态和能量特性未知的情况下学习Whittle指数和最优策略。数值实验表明，我们的算法在两个基准策略之上具有显著效能。