RLOps：强化学习辅助开放无线接入网的开发生命周期
网络与互联网体系结构
2022-11-28 v2 机器学习
摘要
无线接入网(RAN)技术持续发展，其中开放无线接入网(Open RAN)近期获得最多关注。在O-RAN规范中，RAN智能控制器(RIC)是用于RAN智能管理的软件定义编排与自动化功能。本文介绍了机器学习(ML)，特别是强化学习(RL)在O-RAN协议栈中应用的原则。此外，我们回顾了无线网络中的前沿研究，并将其映射到RAN框架与O-RAN架构的层级中。我们为ML/RL模型在开发生命周期中面临的挑战提供了分类：从系统规范到生产部署（数据采集、模型设计、测试与管理等）。为应对这些挑战，我们整合了一组现有MLOps原则与考虑RL智能体时的独特特性。本文讨论了一种系统化的模型开发、测试与验证生命周期，称为：RLOps。我们讨论了RLOps的基本组成部分，包括：模型规范、开发、生产环境服务、运行监控以及安全/安保。基于这些原则，我们提出了RLOps的最佳实践，以实现自动化且可复现的模型开发过程。最后，设计并实现了植根于O-RAN部署的整体数据分析平台，旨在采纳并落实上述RLOps原则与最佳实践。
引用
@article{arxiv.2111.06978,
title = {RLOps: Development Life-cycle of Reinforcement Learning Aided Open RAN},
author = {Peizheng Li and Jonathan Thomas and Xiaoyang Wang and Ahmed Khalil and Abdelrahim Ahmad and Rui Inacio and Shipra Kapoor and Arjun Parekh and Angela Doufexi and Arman Shojaeifard and Robert Piechocki},
journal= {arXiv preprint arXiv:2111.06978},
year = {2022}
}
备注
17 pages, 6 figrues