基于分层多智能体深度强化学习的下一代异构网络中多RAT联合分配与动态资源分配框架
信号处理
2025-07-04 v1 人工智能
机器学习
摘要
本文研究下一代异构无线网络的（HetNets）中通过联合最优无线接入技术（RATs）分配与功率分配实现成本感知下行和速率最大化的问题。我们考虑一个由多 RATs 组成并服务多连接边缘设备（EDs）的未来 HetNet，并将该问题建模为混合整数非线性规划（MINP）问题。鉴于该问题的高复杂性与组合特性以及传统方法难以求解，我们提出一种称为 DeepRAT 的基于分层多智能体深度强化学习（DRL）的框架，以高效求解并学习系统动态。具体而言，DeepRAT 框架将问题分解为两个主要阶段：RATs-EDs 分配阶段，采用单智能体 Deep Q Network（DQN）算法；以及功率分配阶段，利用多智能体 Deep Deterministic Policy Gradient（DDPG）算法。通过仿真，我们展示了各 DRL 智能体如何高效交互以学习系统动态并推导全局最优策略。此外，仿真结果表明所提出的 DeepRAT 算法在网络效用方面优于现有最先进的启发式方法。最后，我们定量展示了 DeepRAT 模型快速动态适应网络动态突变（如 EDs 移动性）的能力。
引用
@article{arxiv.2202.13652,
title = {Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets},
author = {Abdulmalik Alwarafy and Bekir Sait Ciftler and Mohamed Abdallah and Mounir Hamdi and Naofal Al-Dhahir},
journal= {arXiv preprint arXiv:2202.13652},
year = {2025}
}