面向室外环境自主无人机导航与探索的在线深度强化学习
计算机视觉与模式识别
2019-12-13 v1
摘要
随着无人机（UAV）使用的迅速扩张，在多变环境与天气条件下自主导航仍是一项极受青睐但尚待解决的挑战。在本工作中，我们利用深度强化学习（Deep Reinforcement Learning）在探索部分可观测环境（模拟真实场景中所面临的挑战）时持续改进 UAV 智能体的学习与理解。我们的创新方法采用双状态输入策略，结合来自原始图像与包含位置信息的地图的已获取知识。该位置数据辅助网络理解 UAV 已抵达何处及其距目标位置多远，而来自当前场景的特征图则突出显示需避开的杂乱区域。我们的方法通过使用适配于双状态输入数据的 Deep Q-Network 变体进行了广泛测试。进一步，我们证明通过改变奖励与 Q 值函数，该智能体能够稳定超越适配的 Deep Q-Network、Double Deep Q-Network 与 Deep Recurrent Q-Network。我们的结果表明，所提出的 Extended Double Deep Q-Network（EDDQN）方法能够在多种未见环境及恶劣气候条件下导航。
引用
@article{arxiv.1912.05684,
title = {Online Deep Reinforcement Learning for Autonomous UAV Navigation and Exploration of Outdoor Environments},
author = {Bruna G. Maciel-Pearson and Letizia Marchegiani and Samet Akcay and Amir Atapour-Abarghouei and James Garforth and Toby P. Breckon},
journal= {arXiv preprint arXiv:1912.05684},
year = {2019}
}
备注
Journal Submission