数字孪生增强的无线室内导航：以零样本强化学习实现高效环境感知
机器人学
2024-11-05 v3 机器学习
摘要
毫米波（mmWave）通信是未来移动网络代际的关键组成部分，不仅提供高数据速率，还具备精确波束，使其成为复杂环境中室内导航的理想选择。然而，室内空间中多径传播与噪声信号测量的挑战使 mmWave 信号用于导航任务变得复杂。传统的基于物理的方法（如跟随到达角（AoA））在复杂场景中往往不足，凸显了对更精细方法的需求。数字孪生作为物理环境的虚拟复本，为在此类环境中模拟与优化 mmWave 信号传播提供了强大工具。通过创建真实世界的详细基于物理的模型，数字孪生能够在虚拟环境中训练机器学习算法，降低物理测试的成本与局限。尽管有其优势，当前在数字孪生中训练的机器学习模型常过拟合特定虚拟环境，且在应用于新场景时需要昂贵的重训练。本文提出一种物理信息强化学习（PIRL）方法，利用数字孪生提供的物理洞察来塑造强化学习（RL）奖励函数。通过将基于物理的度量（如信号强度、AoA 与路径反射）整合进学习过程，PIRL 实现了高效学习并改善对新环境的泛化而无需重训练。我们的实验表明，所提出的由数字孪生仿真支持的 PIRL 优于传统启发式方法与标准 RL 模型，在未见环境中实现零样本泛化，并为无线室内导航提供具成本效益、可扩展的解决方案。
引用
@article{arxiv.2306.06766,
title = {Digital Twin-Enhanced Wireless Indoor Navigation: Achieving Efficient Environment Sensing with Zero-Shot Reinforcement Learning},
author = {Tao Li and Haozhe Lei and Hao Guo and Mingsheng Yin and Yaqi Hu and Quanyan Zhu and Sundeep Rangan},
journal= {arXiv preprint arXiv:2306.06766},
year = {2024}
}
备注
Submitted to IEEE Open Journal of the Communications Society