深度传递：用于真实无人机导航的仿真视觉学习
机器人学
2025-05-20 v1
摘要
仿真-真实迁移是机器人强化学习中的一个根本性挑战。仿真与现实之间的差异会显著影响策略性能，尤其当接收来自视觉的高维输入（如来自视觉的稠密深度估计）时。我们提出了一种基于域适应的深度传递方法，以弥合仿真与真实深度数据之间的视觉差距。首先训练一个变分自编码器（VAE）将仿真中真实深度图像编码到潜空间，作为强化学习（RL）策略的输入。在部署时，编码器被细化以将立体深度图像与该潜空间对齐，从而实现无需微调的直接策略迁移。我们将该方法应用于通过杂乱环境中自主无人机导航任务。伊萨克实验室中的实验表明，采用立体深度输入而非真实深度输入时，我们的方法几乎将障碍物规避成功率翻了一番。此外，我们展示了仅使用伊萨克实验室生成的立体深度数据即可将方法成功迁移到照片级仿真器 AvoidBench，性能优于最先进的基线方法。实际环境中的评估（包括室内和室外环境）确认了该方法的有效性，使其能够在 diverse 场景中实现稳健且可泛化的基于深度的导航。
引用
@article{arxiv.2505.12428,
title = {Depth Transfer: Learning to See Like a Simulator for Real-World Drone Navigation},
author = {Hang Yu and Christophe De Wagter and Guido C. H. E de Croon},
journal= {arXiv preprint arXiv:2505.12428},
year = {2025}
}