面向物联网网络的深度强化学习：信息年龄与能耗的权衡
信息论
2020-10-26 v1 math.IT
摘要
在大多数物联网（IoT）网络中，边缘节点通常用作中继，以缓存IoT传感器产生的感知数据并为数据消费者提供通信服务。然而，IoT感知的一个关键问题是数据通常是瞬时的，这需要缓存内容项的时效性更新，而频繁的缓存更新可能导致可观的能耗并挑战IoT传感器的寿命。为解决此问题，我们采用信息年龄（AoI）来量化数据新鲜度，并提出一种在线缓存更新方案，以在平均AoI与能耗之间获得有效权衡。具体地，我们首先通过纳入成功传输条件，刻画了IoT传感器处的传输能耗特征。然后，我们将缓存更新建模为马尔可夫决策过程，通过合理定义状态、动作和奖励来最小化平均加权代价。由于用户对内容项的偏好通常未知且常随时间演化，因此我们开发了深度强化学习（DRL）算法以实现智能缓存更新。通过试错探索，可在不需要内容流行度精确知识的情况下学习到有效的缓存策略。仿真结果证明了所提框架的优越性。
引用
@article{arxiv.2010.12297,
title = {Deep Reinforcement Learning for IoT Networks: Age of Information and Energy Cost Tradeoff},
author = {Xiongwei Wu and Xiuhua Li and Jun Li and P. C. Ching and H. Vincent Poor},
journal= {arXiv preprint arXiv:2010.12297},
year = {2020}
}
备注
Accepted by IEEE GLOBECOM 2020