CoDrone：基于边缘和云端基础模型的无人机自主导航

无人机自主导航面临关键挑战：有限的 onboard 计算资源限制了部署的深度神经网络只能采用浅层架构，无法处理复杂环境。将任务卸载到远程边缘服务器会引入高时延，导致系统设计中存在内在权衡。为此，我们提出CoDrone——首个将基础模型集成到无人机巡航场景中的云-边-端协作计算框架，有效利用基础模型增强资源受限无人机平台的性能。为减少 onboard 计算和数据传输开销，CoDrone 使用灰度图像进行导航模型。当需要增强环境感知时，CoDrone 利用边缘辅助的基础模型 Depth Anything V2 进行深度估计，并引入一种新颖的基于一维占据网格的导航方法——实现细粒度场景理解，同时推进了自主导航的效率和表征简洁性。CoDrone 的关键组件是基于深度强化学习的神经调度器，无缝集成深度估计与自主导航决策，实现对动态环境的实时适应。此外，该框架引入了面向无人机的视觉语言交互模块，融合领域定制的低层飞行原语，以实现云端基础模型与无人机之间的有效交互。VLM的引入增强了在复杂未见场景中进行的开集推理能力。实验结果表明，CoDrone 在不同飞行速度和网络条件下均优于基线方法，平均飞行距离提升40%，导航质量平均提升5%。