一种用于评估城市空中交通低空空域容量的深度强化学习方法

城市空中交通是一种新型交通模式，旨在利用低空空域提供快速且安全的出行方式。若不实施新的飞行法规，以确保安全高效地将飞行路径分配给大量垂直起降飞行器，这一目标便无法实现。此类规则还应允许为规划目的估算低空空域的有效容量。路径规划是城市空中交通中的一个重要课题，可使大量无人机同时在同一空域内飞行而面临碰撞风险。由于城市空中交通是一个新颖概念，当局仍在制定适用于城市空中交通的新飞行规则。本研究提出一种利用深度强化学习方法和深度确定性策略梯度算法的自主无人机路径规划框架。目标是通过调整加速度，使自训练的无人机在任意环境中以尽可能短的时间到达目的地。它应避免与任何动态或静态障碍物发生碰撞，并避免进入其路径上存在的需事先许可的区域。奖励函数是训练过程中的决定性因素。因此，比较了两种不同的奖励函数构成，并将所选构成通过 python 编写 RL 算法来训练无人机。最后，数值模拟考察了无人机在不同场景下的成功率，从而提供了有效空域容量的估算。