SkyDreamer：基于模型基强化学习的端到端视觉无人机赛跑
机器人学
2025-10-17 v1
摘要
自动无人机赛跑（ADR）系统最近取得了冠军级性能，但仍高度依赖于无人机赛跑领域。虽然端到端视觉方法前景广阔，但迄今为止尚无系统能够同时实现完全的仿真到现实迁移、 onboard 执行和冠军级性能。本文提出了 SkyDreamer，据我们所知，是首个将像素级表示直接映射到电机命令的端到端视觉 ADR 策略。SkyDreamer 基于知情 Dreamer（即在训练期间解码到特权信息的模型基强化学习方法）构建。通过将这一概念扩展到端到端视觉 ADR，该世界模型实际上功能为隐式状态和参数估计器，大大提高了可解释性。SkyDreamer 在不依赖外部辅助的情况下完全 onboard 运行，通过跟踪从世界模型隐藏状态解码的状态来解决视觉歧义，且无需外部相机标定，使其能够在无需重新训练的情况下快速部署到不同的无人机上。实际实验表明，SkyDreamer 实现了稳健的高速飞行，能够执行紧凑的机动动作，如倒立环、split-S 和梯形，最高速度可达 21 米/秒，加速度可达 6 g。它进一步展示了在粗糙的分割掩码上运行的非平凡视觉仿真到现实迁移，以及对电池耗尽的鲁棒性——即准确估计可达的最大电机 RPM 并实时调整飞行路径。这些结果突显了 SkyDreamer 在应对现实差距的关键方面上的适应性，在仍实现极高速灵活飞行的同时带来了稳健性。
引用
@article{arxiv.2510.14783,
title = {SkyDreamer: Interpretable End-to-End Vision-Based Drone Racing with Model-Based Reinforcement Learning},
author = {Aderik Verraest and Stavrow Bahnam and Robin Ferede and Guido de Croon and Christophe De Wagter},
journal= {arXiv preprint arXiv:2510.14783},
year = {2025}
}