学习搜寻：基于深度强化学习的纳米无人机微控制器自主源搜寻
机器人学
2021-01-18 v6 人工智能
机器学习
系统与控制
系统与控制
摘要
我们通过在高度受限的纳米四旋翼上贡献特定应用的系统与观测特征设计，使其能板载推断深度强化学习策略，从而实现完全自主的源搜寻。我们的深度强化学习算法即便在高噪声水平下也能为这一具有挑战性的问题找到高性能解，并可泛化至具有不同障碍物配置的实境与仿真环境。我们使用仅配备廉价且普遍的 Cortex-M4 微控制器单元的 Bitcraze CrazyFlie，通过仿真与现场测试验证了方法。结果表明，通过端到端特定应用系统设计，与纳米四旋翼上竞争的基于学习的导航方法相比，我们的贡献所消耗的额外功耗几乎减少三倍。得益于我们在资源约束内精心设计的观测空间，我们的解在杂乱且随机化的测试环境中达到了 94% 的成功率，而此前为 80%。我们还将我们的策略与一种面向高效探索的简单有限状态机（FSM）比较，证明我们的策略在避障方面更鲁棒、更具恢复力，且在源搜寻上效率最高提升 70%。为此，我们贡献了一种廉价轻量的端到端微型机器人学习（tinyRL）解，运行于纳米四旋翼板载，在有限感知输入下于挑战性任务中表现出鲁棒与高效。
引用
@article{arxiv.1909.11236,
title = {Learning to Seek: Autonomous Source Seeking with Deep Reinforcement Learning Onboard a Nano Drone Microcontroller},
author = {Bardienus P. Duisterhof and Srivatsan Krishnan and Jonathan J. Cruz and Colby R. Banbury and William Fu and Aleksandra Faust and Guido C. H. E. de Croon and Vijay Janapa Reddi},
journal= {arXiv preprint arXiv:1909.11236},
year = {2021}
}