面向无线网络的面向数字孪生的深度强化学习：一种新颖的数字孪生二态度度 metric
机器学习
2025-02-26 v1
摘要
数字孪生 (DT)-驱动的深度强化学习 (DRL) 已成为无线网络优化的有前景的范式，提供了安全且高效的训练环境，用于策略探索。然而，现有方法在理论上无法始终保证在实际部署前 DT 训练的策略在现实世界中的表现，因为缺乏一种衡量 DT 能否支持可靠 DRL 训练转移到物理网络的通用度量标准。本文提出了 DT 二态度度 metric (DT-BSM)，一种基于 Wasserstein 距离的新颖度量，用于量化 DT 与相应实际无线网络环境中马尔可夫决策过程 (MDP) 之间的差异。我们证明，对于任何 DT 训练的策略，其在现实世界部署中的次优性能 (regret) 受 DT-BSM 及其在 DT 中次优性的加权和的上界控制。随后，还引入一种基于总变差距离的修正 DT-BSM，以避免 Wasserstein 距离在大规模无线网络场景下计算的高昂复杂度。进一步，为解决获取 DT-BSM 计算中实际世界中 MDP 准确转移概率的挑战，我们提出了一种基于统计抽样的经验 DT-BSM 方法。我们证明了经验 DT-BSM 永远收敛于所需的理论 DT-BSM，并定量建立了所需抽样样本数与目标近似精度水平之间的关系。数值实验验证了此次关于面向数字孪生的 DRL 具有可计算且可证明性能界限的首次理论发现。
引用
@article{arxiv.2502.17983,
title = {Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric},
author = {Zhenyu Tao and Wei Xu and Xiaohu You},
journal= {arXiv preprint arXiv:2502.17983},
year = {2025}
}