基于多智能体深度强化学习的SWIPT赋能H2H/M2M共存蜂窝网络资源管理
网络与互联网体系结构
2023-01-02 v1
摘要
机器到机器（M2M）通信在物联网（IoT）的发展中至关重要。众所周知，蜂窝网络已被视为M2M通信的主要基础设施，但为在蜂窝网络上部署M2M通信，仍有若干关键问题亟待解决。值得注意的是，M2M流量的快速增长大幅增加了能耗，并降低了现有人对人（H2H）流量的性能。可持续运行技术与资源管理是解决这些问题的有效途径。本文研究H2H/M2M共存蜂窝网络中的资源管理问题。首先，考虑到机器类通信设备（MTCD）的能量受限特性，我们提出一种由同步无线信息与功率传输（SWIPT）赋能的新型网络模型，使MTCD具备同时进行能量收集（EH）与信息解码的能力。鉴于IoT设备的多样性，我们将MTCD细分为关键型与可容忍型，进一步将资源管理问题建模为多样服务质量（QoS）约束下的能量效率（EE）最大化问题。随后，我们开发了一种基于多智能体深度强化学习（DRL）的方案来求解该问题。该方案在基于行为追踪设计的态空间与公共奖励函数下，提供最优的频谱、发射功率与功率分配（PS）比策略以及高效的模型训练。最后，我们验证了在合理的训练机制下，多个M2M智能体以分布式方式成功协作，在网络性能上以收敛速度及满足EE与QoS需求方面优于其他智能方法。
引用
@article{arxiv.2212.14234,
title = {Multi-Agent Deep Reinforcement Learning Based Resource Management in SWIPT Enabled Cellular Networks with H2H/M2M Co-Existence},
author = {Xuehua Li and Xing Wei and Shuo Chen and Lixin Sun},
journal= {arXiv preprint arXiv:2212.14234},
year = {2023}
}