基于仿真到现实深度强化学习的测量不确定性下无人机避障
机器人学
2023-03-14 v1
摘要
深度强化学习正迅速成为训练自主无人机的流行方法。我们的工作分析了测量不确定性对基于深度强化学习（DRL）的无人机航点导航与避障性能的影响。测量不确定性源于用于定位与障碍检测的传感器噪声。测量不确定性/噪声被认为服从具有未知非零均值与方差的高斯概率分布。我们在具有连续状态与动作空间的环境中，评估了使用近端策略优化（PPO）算法训练的DRL智能体的性能。该环境在每个仿真回合中随机化不同数量的障碍物，并存在不同程度的噪声，以捕捉真实传感器测量的影响。低通滤波器与卡尔曼滤波器等去噪技术可在无偏噪声存在时提升性能。此外，我们表明在特定场景中，在评估时人为向测量中注入噪声实际上能提升性能。我们在PyBullet物理仿真器中对DRL智能体在各种无人机导航场景下进行了广泛训练与测试。为评估方法的实际有效性，我们将仿真中训练的策略未经任何修改移植到真实无人机上，并在真实环境中验证了结果。
引用
@article{arxiv.2303.07243,
title = {Sim-to-Real Deep Reinforcement Learning based Obstacle Avoidance for UAVs under Measurement Uncertainty},
author = {Bhaskar Joshi and Dhruv Kapur and Harikumar Kandath},
journal= {arXiv preprint arXiv:2303.07243},
year = {2023}
}