基于深度强化学习的简化城市流动中的导航
人工智能
2024-09-27 v1
摘要
城市环境中无人机（UAV）数量的增加需要一种策略来最小化其环境影响，包括能源效率和噪声减少。为此需要开发新的策略，如基于深度强化学习（DRL）的预测模型和飞行计划优化方法。我们的目标是开发能够使UAV在城市环境中自主导航的DRL算法，考虑到建筑物和其他UAV的存在，优化轨迹以减少能耗和噪声。这通过流体动力学仿真实现，仿真代表了UAV导航的环境，并将UAV训练为与城市环境交互的智能体。本文考虑的领域由二维流场表示，包含障碍物，理想地代表建筑物，从三维高保真数值仿真中提取。所述方法使用 PPO+LSTM 单元，通过复现一个简单但基本的问题来验证，即齐尔梅洛问题，涉及在湍流中航行的船只，从起点前往目标位置，优化轨迹。当前方法相对于简单 PPO 和 TD3 算法表现显著提升，PPO+LSTM 训练策略的成功率（SR）为 98.7%，碰撞率（CR）为 0.1%，优于 PPO（SR = 75.6%，CR=18.6%）和 TD3（SR=77.4%，CR=14.5%）。这是首个将DRL策略应用于三维流场中指导UAV的步骤，通过实时信号实现航班时间效率导航并避免对车辆的损坏。
引用
@article{arxiv.2409.17922,
title = {Navigation in a simplified Urban Flow through Deep Reinforcement Learning},
author = {Federica Tonti and Jean Rabault and Ricardo Vinuesa},
journal= {arXiv preprint arXiv:2409.17922},
year = {2024}
}