SketchPlan：基于扩散模型的人类草图无人机规划

我们提出了 SketchPlan，一种基于扩散模型的规划器，它通过解释深度图像上的 2D 手绘草图来生成用于无人机导航的 3D 飞行路径。SketchPlan 包含两个组件：一个学习将人类草图映射为投影 2D 路径的 SketchAdapter，以及一个从 2D 投影和第一人称视角深度图像推断 3D 轨迹的扩散模型 DiffPath。我们的模型实现了零样本 sim-to-real 迁移，能够在未见过的真实世界环境中生成准确且安全的飞行路径。为了训练该模型，我们使用一组多样化的逼真 3D Gaussian Splatting 场景构建了一个包含 32k 条飞行路径的合成数据集。我们通过计算 3D 飞行路径在相机平面上的 2D 投影来自动标注数据，并使用它来训练 DiffPath 扩散模型。然而，由于真实的人类 2D 草图与理想的 2D 投影存在显著差异，我们额外用真实人类草图标注了 872 条 3D 飞行路径，并以此训练 SketchAdapter 从人类草图推断 2D 投影。我们在模拟和真实世界实验中均证明了 SketchPlan 的有效性，并通过消融实验表明，混合训练人类标注数据与自动标注数据以及模块化设计，显著提升了其正确理解人类意图和推断 3D 路径的能力。在真实世界无人机测试中，SketchPlan 在低/中等杂乱环境中达到了 100% 的成功率，在未见的高杂乱环境中达到了 40% 的成功率，在任务完成率上比关键消融实验高出 20-60%。