含能量收集传感器的状态更新控制中的信息年龄最小化
信号处理
2022-02-01 v4
摘要
信息新鲜度对时间关键的物联网应用(如监测与控制系统)至关重要。我们考虑一个具有多个用户、多个能量收集传感器和一个无线边缘节点的物联网状态更新系统。用户接收关于物理量、各自由一个传感器测量的时敏信息。用户向边缘节点发送请求，其中缓存含有各传感器最近接收到的测量值。为服务请求，边缘节点要么命令传感器发送状态更新，要么从缓存检索老化测量值。我们旨在寻找边缘节点的最佳动作以最小化所服务测量的信息年龄(age of information)。我们将该问题建模为马尔可夫决策过程，并开发了强化学习(RL)算法：基于模型的值迭代与无模型的 Q-learning 方法。我们还针对边缘节点仅通过状态更新获知传感器电池电量的实际情形，提出了一种 Q-learning 方法。传输受限下的情形亦被讨论。此外，解析刻画了最优策略的性质。仿真结果表明，最优策略为基于阈值的策略，且所提 RL 方法相较若干基线显著降低了平均代价。
引用
@article{arxiv.2009.04224,
title = {AoI Minimization in Status Update Control with Energy Harvesting Sensors},
author = {Mohammad Hatami and Markus Leinonen and Marian Codreanu},
journal= {arXiv preprint arXiv:2009.04224},
year = {2022}
}
备注
33 pages, 6 figures