大型视觉模型增强的数字孪生器集成深度强化学习用于动态无线网络的用户关联与负载均衡
机器学习
2025-05-19 v2 系统与控制
系统与控制
摘要
动态无线网络中用户关联的优化通常具有挑战性,并且由于用户移动性和用户数量波动的动态特性,问题更为复杂。虽然深度强化学习(DRL)日益成为有前景的解决方案,但其在实际应用中受限于高额的试错成本以及训练期间不理想的物理网络性能。此外,现有的DRL基于用户关联方法通常适用于固定用户数的场景,由于收敛和兼容性挑战。为了克服这些限制,我们引入大型视觉模型(LVM)增强的数字孪生器(DT)用于无线网络,并提出一种并行DT驱动的DRL方法用于具有动态用户数量、分布和移动性模式的用户关联和负载均衡。为了构建LVM增强DT用于DRL训练,我们开发了一个基于扩散模型的零样本生成用户移动模型,名为Map2Traj。Map2Traj仅依据街道地图即可估计用户轨迹模式和空间分布。DRL模型在DT环境中进行训练,避免了与物理网络的直接交互。为了增强DRL模型在动态场景中的泛化能力,进一步建立并行DT框架以缓解单环境训练中的强相关性和非平稳性,并提高训练效率。数值结果表明,所开发的LVM增强DT在训练效能上接近真实环境,而所提出的并行DT框架甚至在DRL训练中优于单一真实世界环境， 以单元格边缘用户性能为准则几乎提高了20%。
引用
@article{arxiv.2410.07611,
title = {Large Vision Model-Enhanced Digital Twin with Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks},
author = {Zhenyu Tao and Wei Xu and Xiaohu You},
journal= {arXiv preprint arXiv:2410.07611},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2407.19765. This work has been submitted to the IEEE for possible publication