基于强化学习的能量收集物联网传感器年龄感知状态更新控制

我们考虑一个具有多个用户、多个能量收集传感器以及一个作为用户与传感器之间网关的无线边缘节点的物联网感知网络。用户请求关于物理过程值的更新,每个物理过程由一个传感器测量。边缘节点具有缓存存储,用于存储从每个传感器最近接收到的测量值。在收到请求时,边缘节点可以命令相应传感器发送状态更新,或使用缓存中的数据。我们旨在寻找边缘节点的最佳动作,以最小化在信息年龄(age of information)与能耗之间权衡的平均长期代价。我们提出了一种实用的强化学习方法,可在不知晓传感器确切电池电量的情况下找到最优策略。