能源采集与非平稳环境下信息年龄的最小化

本 work聚焦于多个能源采集源的年龄信息最小化问题。这些源会采样数据并将其传输到接收节点。在每个时间点，中央调度器选择一个源来探测其与接收节点的信道质量，然后利用所评估的信道质量来确定该源是否会采样并发送数据包。对于单个源的情况，假设被探测的信道质量在每个时间点都已知，将信息年龄最小化问题建模为马尔可夫决策过程(MDP)，并证明了最优抽样策略的阈值结构。随后，我们利用该阈值结构提出了一个AEC-SW-UCRL2算法来处理未知和随时间变化的能源采集率和信道统计量，灵感来自用于非平稳强化学习的流行SWUCRL2算法。该算法适用于每个数量在时间范围内的总变异上限已知的情况。此外，在这些变异预算不可访问的情况下，我们引入AEC-BORL算法，灵感来自著名的BORL算法。对于多个源的情况，我们证明信息年龄最小化问题可建模为受约束的MDP，可通过拉格朗日乘子进行松弛并解耦为跨源节点的子问题。我们还推导出基于Whittle指数的源调度策略用于探测，并推导了源抽样的最优阈值策略。我们利用Whittle指数和阈值结构开发了WIT-SW-UCRL2算法，用于在未知随时间变化的能源采集率和信道统计量下，依据各自的变异预算处理问题。此外，我们还提出了一个基于Whittle指数和阈值的基于bandit的强化学习算法(WIT-BORL)，用于未知变异预算的情况。最后，我们通过数值实验展示了我们算法的有效性。