不完美数字孪生辅助的多无人机网络低成本强化训练
机器学习
2023-10-26 v1 系统与控制
系统与控制
摘要
深度强化学习（DRL）被广泛用于优化多无人机网络性能。然而，DRL 的训练依赖无人机与环境间的频繁交互，在实际实验中因无人机的飞行与通信而消耗大量能量。受日益发展的数字孪生（DT）技术启发——其可通过复制物理空间特征构建的数字空间来模拟算法性能——引入 DT 以降低实际训练成本（如能量与硬件采购）。不同于以往假设虚拟数字完美反映真实物理的 DT 辅助工作，我们考虑了带偏差的不完美 DT 模型以辅助多无人机网络训练。值得注意的是，为权衡训练成本、DT 构建成本及 DT 偏差对训练的影响，提出了自然与虚拟生成无人机混合部署方法。使用两个级联神经网络（NN）来优化虚拟生成无人机数量、DT 构建成本与多无人机网络性能的联合问题。这两个 NN 通过无监督与强化学习训练，均为低成本的免标签训练方法。仿真结果表明，在保障训练性能的同时训练成本可显著下降。这意味着在不完美 DT 下多无人机网络中可作出高效决策。
引用
@article{arxiv.2310.16302,
title = {Imperfect Digital Twin Assisted Low Cost Reinforcement Training for Multi-UAV Networks},
author = {Xiucheng Wang and Nan Cheng and Longfei Ma and Zhisheng Yin and Tom. Luan and Ning Lu},
journal= {arXiv preprint arXiv:2310.16302},
year = {2023}
}