面向低空经济的通感一体化：一种深度强化学习方法
网络与互联网体系结构
2025-01-03 v3 机器学习
摘要
本文研究了一种用于低空经济（LAE）的通感一体化（ISAC）系统，其中地面基站（GBS）为授权的无人机（UAV）提供通信和导航服务，同时感知低空空域以监控未授权的移动目标。通过联合优化GBS处的波束成形和无人机的轨迹，在满足感知的平均信噪比要求、无人机的飞行任务和碰撞避免以及GBS的最大发射功率约束下，最大化给定飞行周期内的预期通信和速率。通常，这是一个具有给定飞行任务的顺序决策问题。因此，我们将其转化为一个称为“回合式任务”的特定马尔可夫决策过程（MDP）模型。基于此建模，我们利用深度强化学习（DRL）技术，提出了一种新颖的面向LAE的ISAC方案，称为Deep LAE-ISAC（DeepLSC）。在DeepLSC中，我们精心设计了奖励函数和一种称为约束噪声探索策略的新动作选择策略，以满足各种约束。为了在回合式任务中实现高效学习，我们开发了一种分层经验回放机制，其要点是利用每个回合内生成的所有经验来联合训练神经网络。此外，为了加快DeepLSC的收敛速度，我们提出了一种对称经验增强机制，该机制同时置换所有变量的索引以丰富可用的经验集。仿真结果表明，与基准方案相比，DeepLSC在满足预设约束的同时获得了更高的和速率，实现了更快的收敛，并且对不同设置具有更强的鲁棒性。
引用
@article{arxiv.2412.04074,
title = {Integrated Sensing and Communications for Low-Altitude Economy: A Deep Reinforcement Learning Approach},
author = {Xiaowen Ye and Yuyi Mao and Xianghao Yu and Shu Sun and Liqun Fu and Jie Xu},
journal= {arXiv preprint arXiv:2412.04074},
year = {2025}
}
备注
submitted for an IEEE publication