面向缓存使能物联网网络的最优状态更新：一种对决深度R网络方法
网络与互联网体系结构
2021-06-15 v1 信号处理
摘要
在物联网（IoT）网络中，缓存是一项有前景的技术，可通过用边缘缓存节点（ECN）中缓存的数据包响应用户的数据请求，从而缓解传感器的能耗。然而，若无高效的状态更新策略，用户获取的信息可能过时，进而不可避免地降低实时应用所推导决策的准确性和可靠性。本文聚焦于在用户所经历的信息新鲜度（以信息年龄（AoI）衡量）与传感器能耗之间取得平衡，通过适当激活传感器以更新其当前状态。具体而言，我们首先从各用户视角、以非均匀时长为时间步刻画各传感器AoI的演化，该时长由用户数据请求与ECN的状态更新决策共同决定。随后，我们构建基于非均匀时间步的动态状态更新优化问题，以联合考虑平均AoI与能耗，最小化长期平均代价。为此，我们建立马尔可夫决策过程，并进一步结合对决深度Q网络（dueling deep Q-network）与表格R学习（tabular R-learning），设计了一种基于对决深度R网络（dueling deep R-network）的动态状态更新算法，从而应对维度灾难与环境动态未知带来的挑战。最后，我们通过与五种基线深度强化学习算法及策略进行对比，开展大量仿真以验证所提算法的有效性。
引用
@article{arxiv.2106.06945,
title = {Optimal Status Update for Caching Enabled IoT Networks: A Dueling Deep R-Network Approach},
author = {Chao Xu and Yiping Xie and Xijun Wang and Howard H. Yang and Dusit Niyato and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2106.06945},
year = {2021}
}