面向动态元宇宙应用的基于持续深度强化学习的自维持多址接入
网络与互联网体系结构
2023-09-20 v1 人工智能
新兴技术
机器学习
数值分析
数值分析
摘要
元宇宙是一种旨在创建由众多世界构成的虚拟环境的新范式，每个世界将提供不同的服务集。为应对这一动态且复杂的场景，并考虑到面向第六代通信系统(6G)的严苛服务质量要求，一种潜在途径是采用自维持策略，其可通过自适应人工智能(Adaptive AI)实现，即利用新数据与条件持续重新训练模型。自可持续性的一个方面是对频谱的多址接入管理。尽管已提出若干创新方法来应对该挑战，且大多使用深度强化学习(DRL)，但智能体适应非平稳环境的问题尚未得到精确解决。本文通过研究多信道环境下的多址接入问题以填补现有文献的空白，目标是在活跃用户设备(UE)数量可能随时间波动时最大化智能体吞吐量。为解决该问题，提出一种由持续学习(CL)赋能的双重深度Q学习(DDQL)技术，以在环境未知时克服非平稳状况。数值仿真表明，与其他知名方法相比，CL-DDQL算法在高度动态场景中实现了显著更高的吞吐量以及相当更短的共轭时间。
引用
@article{arxiv.2309.10177,
title = {Self-Sustaining Multiple Access with Continual Deep Reinforcement Learning for Dynamic Metaverse Applications},
author = {Hamidreza Mazandarani and Masoud Shokrnezhad and Tarik Taleb and Richard Li},
journal= {arXiv preprint arXiv:2309.10177},
year = {2023}
}