Air Learning：面向自主空中机器人视觉导航的深度强化学习 Gym
摘要
我们介绍Air Learning，一个开源模拟器，也是一个用于资源受限空中机器人深度强化学习研究的gym环境。配备域随机化后，Air Learning使UAV智能体暴露于多样化且具有挑战性的场景中。我们用三种不同环境中的点对面避障任务以及Deep Q Networks (DQN)和Proximal Policy Optimization (PPO)训练器为工具集提供种子。Air Learning在诸如能耗、续航和平均轨迹长度等资源受限嵌入式平台（如Raspberry Pi）上，依据多种飞行质量(QoF)指标评估策略性能。我们发现嵌入式Ras-Pi上的轨迹与高端桌面系统预测的轨迹大不相同，在其中一个环境中轨迹长达40%。为理解此类差异的来源，我们使用Air Learning人为降低高端桌面性能以模拟低端嵌入式系统发生的情况。随后我们提出一种缓解技术，使用硬件在环来确定在目标平台（空中机器人上的机载计算）上运行策略的延迟分布。然后从延迟分布中随机采样一个延迟作为人工延迟加入训练循环中。用人工延迟训练策略使我们能够最小化硬件差距（飞行时间指标的差异从37.73%降至0.5%）。因此，带硬件在环的Air Learning刻画了这些差异，并揭示了机载计算的选择如何影响空中机器人性能。我们还进行了可靠性研究以评估传感器故障对所学策略的影响。总之，Air Learning实现了广泛的无人机深度RL研究。源代码见：http://bit.ly/2JNAVb6。
引用
@article{arxiv.1906.00421,
title = {Air Learning: A Deep Reinforcement Learning Gym for Autonomous Aerial Robot Visual Navigation},
author = {Srivatsan Krishnan and Behzad Boroujerdian and William Fu and Aleksandra Faust and Vijay Janapa Reddi},
journal= {arXiv preprint arXiv:1906.00421},
year = {2022}
}
备注
To Appear in Springer Machine Learning Journal (Special Issue on Reinforcement Learning for Real Life). Updating the title to match the Springer Machine Learning Journal