无线通信中面向元宇宙时延与可靠性优化的异步混合强化学习
机器学习
2023-03-10 v2 社会与信息网络
摘要
无线通信与高性能扩展现实（XR）的技术进步推动了元宇宙的发展。对元宇宙应用以及真实世界场景实时数字孪生的需求正在增长。然而，将二维物理世界图像复现为三维虚拟对象的计算密集，且需要计算卸载。所传输对象维度（二维相对于三维）的差异导致上行链路（UL）与下行链路（DL）中数据大小的不对称。为保障系统的可靠性与低时延，我们考虑一种异步联合 UL-DL 场景：在 UL 阶段，由多个扩展现实用户（XUs）捕获的物理世界图像较小数据量将被上传至元宇宙控制台（MC）进行构建与渲染；在 DL 阶段，较大尺寸的三维虚拟对象需传回 XUs。我们设计了一种新颖的多智能体强化学习算法结构，即异步执行者混合评论者（AAHC），以在 UL 阶段优化计算卸载与信道分配决策，并在 DL 阶段优化 DL 传输功率。大量实验表明，相较于所提基线，AAHC 以令人满意的训练时间获得了更优解。
引用
@article{arxiv.2212.14749,
title = {Asynchronous Hybrid Reinforcement Learning for Latency and Reliability Optimization in the Metaverse over Wireless Communications},
author = {Wenhan Yu and Terence Jie Chua and Jun Zhao},
journal= {arXiv preprint arXiv:2212.14749},
year = {2023}
}
备注
This paper appears in IEEE Journal on Selected Areas in Communications (JSAC), 2023