O-RAN中可扩展资源管理的元分层强化学习
人工智能
2025-12-17 v1 机器学习
系统与控制
系统与控制
摘要
现代应用日益增长的复杂性要求无线网络具备实时自适应能力和高效的资源管理。开放无线接入网（O-RAN）架构及其RAN智能控制器（RIC）模块，已成为动态资源管理和网络切片的核心解决方案。尽管人工智能（AI）驱动的方法已显示出前景，但大多数方法在不可预测且高度动态的条件下难以维持性能。本文提出了一种自适应的元分层强化学习（Meta-HRL）框架，受模型无关元学习（MAML）启发，用于联合优化O-RAN中的资源分配和网络切片。该框架将分层控制与元学习相结合，以实现全局和局部适应：高层控制器跨切片分配资源，而低层智能体执行切片内调度。自适应元更新机制根据时序差分误差方差对任务加权，提高了稳定性并优先处理复杂网络场景。理论分析为两层学习过程建立了次线性收敛和遗憾保证。仿真结果表明，与基线RL和元RL方法相比，网络管理效率提升了19.8%，并且在eMBB、URLLC和mMTC切片中实现了更快的适应和更高的QoS满意度。额外的消融和可扩展性研究证实了该方法的鲁棒性，实现了高达40%的更快适应速度，以及随着网络规模增大保持一致的公平性、延迟和吞吐量性能。
引用
@article{arxiv.2512.13715,
title = {Meta Hierarchical Reinforcement Learning for Scalable Resource Management in O-RAN},
author = {Fatemeh Lotfi and Fatemeh Afghah},
journal= {arXiv preprint arXiv:2512.13715},
year = {2025}
}
备注
This paper is submitted to IEEE Open Journal of the Communications Society