一种用于自主纳米无人机竞速的基于深度学习的 Sim-to-Real 框架
机器人学
2024-03-08 v1 系统与控制
图像与视频处理
系统与控制
摘要
自主无人机竞速比赛是提升无人飞行器感知、规划与控制技能的试验平台。近期自主纳米级无人机竞速的出现带来了新的挑战，因为其约 10cm 的尺寸严重限制了机载可用资源，包括内存、计算能力和传感器。本文描述了赢得首届自主纳米无人机竞速国际比赛——IMAV 2022 Nanocopter AI Challenge——的系统的方法论与技术实现。为实现这一目标，我们开发了一种完全在机载上运行的深度学习视觉导航方法，该方法仅在仿真图像上进行训练。我们的方法包括用于避障的卷积神经网络、一种从仿真到现实（sim-to-real）的数据集采集流程，以及一种通过仿真和实际现场实验进行选择、表征和适配的导航策略。我们的系统在比赛中于七支参赛队伍中排名第一。在我们表现最好的一次尝试中，在规定的 5 分钟飞行时间内，我们行驶了 115m 的距离，在躲避静态和动态障碍物时从未坠毁。我们希望与科研界分享我们的知识，为促进该领域的未来发展提供坚实的基础。
引用
@article{arxiv.2312.08991,
title = {A Sim-to-Real Deep Learning-based Framework for Autonomous Nano-drone Racing},
author = {Lorenzo Lamberti and Elia Cereda and Gabriele Abbate and Lorenzo Bellone and Victor Javier Kartsch Morinigo and Michał Barcis and Agata Barcis and Alessandro Giusti and Francesco Conti and Daniele Palossi},
journal= {arXiv preprint arXiv:2312.08991},
year = {2024}
}
备注
8 pages, 10 Figures, 3 Tables, This paper has been accepted for publication in the IEEE Robotics and Automation Letters (RAL). Copyright 2023 IEEE