通过模仿学习实现无人机群基于视觉的飞行
机器人学
2019-08-09 v1 计算机视觉与模式识别
机器学习
多智能体系统
摘要
当前部署的去中心化无人机群要么依赖智能体之间共享位置，要么借助视觉标记来检测群成员。本工作提出了一种完全基于视觉、基于模仿学习来协调无标记无人机群的方法。每个智能体由一个小型高效的卷积神经网络控制，该网络以原始全向图像作为输入，并预测与集群算法计算出的速度相匹配的 3D 速度指令。我们开始在仿真中训练，并提出一种简单而有效的无监督域自适应方法，将学到的控制器迁移到真实世界。我们进一步利用在动作捕捉大厅中收集的数据训练控制器。我们表明，在无人机视觉输入上训练的卷积神经网络不仅能以样本高效的方式学习鲁棒的智能体间碰撞避免，还能学习群的凝聚力。该神经控制器有效地学会了在视觉输入中定位其他智能体，我们通过可视化对智能体运动影响最大的区域来展示这一点。我们仅考虑局部视觉信息进行控制，从而消除了群成员间共享位置的依赖。因此，我们的工作可视为迈向完全去中心化、基于视觉且无需通信或视觉标记的蜂群的第一步。
引用
@article{arxiv.1908.02999,
title = {Learning Vision-based Flight in Drone Swarms by Imitation},
author = {Fabian Schilling and Julien Lecoeur and Fabrizio Schiano and Dario Floreano},
journal= {arXiv preprint arXiv:1908.02999},
year = {2019}
}
备注
8 pages, 8 figures, accepted for publication in the IEEE Robotics and Automation Letters (RA-L) on July 28, 2019. arXiv admin note: substantial text overlap with arXiv:1809.00543