IRS辅助无线供能无线网络中基于分层深度强化学习的年龄最小化
系统与控制
2022-12-29 v1 网络与互联网体系结构
系统与控制
摘要
在本文中，我们关注由多天线接入点（AP）协调的无线供能传感器网络。每个节点可生成感知信息，并利用从AP信号波束成形收集的能量将最新信息上报给AP。我们的目标是通过联合调整节点的传输调度与传输控制策略来最小化平均信息年龄（AoI）。为降低传输时延，采用智能反射面（IRS）通过控制AP的波束成形向量与IRS的相移矩阵来改善信道条件。考虑到不同感知节点的动态数据到达，我们提出一种分层深度强化学习（DRL）框架，分两步实现AoI最小化。首先由外环DRL方法（如DQN或PPO算法）确定用户传输调度，随后内环优化用于适配对所有节点的上行信息传输或下行能量传输。我们还提出一种简单高效的近似方法以降低内环运行时间开销。数值结果验证了该分层学习框架在平均AoI及不同节点间比例公平性方面优于典型基线。
引用
@article{arxiv.2212.13390,
title = {Hierarchical Deep Reinforcement Learning for Age-of-Information Minimization in IRS-aided and Wireless-powered Wireless Networks},
author = {Shimin Gong and Leiyang Cui and Bo Gu and Bin Lyu and Dinh Thai Hoang and Dusit Niyato},
journal= {arXiv preprint arXiv:2212.13390},
year = {2022}
}
备注
31 pages, 6 figures, 2 tables, 3 algorithms