利用数字孪生体在大规模无线网络中进行集成 Q 学习

优化大规模无线网络（包括最优资源管理、功率分配和吞吐量最大化）由于其不可观测的系统动力学以及异质性和复杂性而 inherently 具有挑战性。在此，提出了一种新颖的集成 Q 学习算法，以解决传统 Q 学习算法在优化无线网络时的性能和复杂性挑战。利用合成马尔可夫决策过程的集成学习通过新的模型量身定制用于近似大状态空间可观测无线网络。特别是，提出了“数字表亲”(digital cousins) 作为传统数字孪生概念的扩展，其中多个 Q 学习算法在多个合成马尔可夫环境中并行运行，其输出融合为单个 Q 函数。提供了关键统计量和 Q 函数的收敛性分析，以及估计偏差和方差上限的推导。在各种真实世界无线网络中的数值结果表明，与最先进的强化学习算法相比，所提出的算法可实现平均策略误差降低高达 50%，运行时复杂性降低高达 40%。结果还表明，理论结果正确预测了实验结果中的趋势。