面向自主无人机剪枝的实时树枝-工具距离估计:从仿真到 Jetson 部署的 DEFOM-Stereo 五种变体基准测试
摘要
使用无人机( UAV)进行自主树木剪枝是一项安全关键的现实任务: onboard 感知系统必须实时估计切割工具与细树枝之间的度量距离,以便 UAV 能够靠近、对准并作动作剪枝器而不发生碰撞。我们通过在特定合成数据集上训练五种 DEFOM-Stereo - 最近的基于基础模型的 stereo matcher 变体 - 并在 NVIDIA Jetson Orin Super 16 GB 上部署模型来解决此问题。训练语料库在 Unreal Engine 5 中构建,模拟 ZED Mini 双目相机捕获 5,520 对立体图像,覆盖 115 棵树木,来自三个视角,距离为 2m;稠密 EXR 深度图提供针对细树枝的精确、完整的监督。在合成测试集上,DEFOM-Stereo ViT-S 实现最佳深度域精度 (EPE 1.74 像素,D1-all 5.81%,delta-1 95.90%,depth MAE 23.40 cm),但其 Jetson 推理速度为约 2.2 FPS (~450 ms/帧),仍不足以实现响应式闭环工具控制。一种新引入的平衡变体 DEFOM-PrunePlus (~21M backbone,~3.3 FPS on Jetson),在可部署的精度-延迟性比例上表现最佳 (EPE 5.87 像素,depth MAE 64.26 cm,delta-1 87.59%):其帧率足以支撑实时指引,其深度精度支持在 2m 作业范围内的安全树枝靠近规划。轻量级 DEFOM-PruneStereo (~6.9 FPS) 和 DEFOM-PruneNano (~8.5 FPS) 运行速度快,但牺牲了大量精度 (depth MAE > 57 cm),导致估计对安全作动性不可靠。零样推理于真实照片上确认,完整容量模型保留树枝几何结构,验证了仿真到现实的迁移。我们得出结论,DEFOM-PrunePlus 在 onboard 距离估计中提供最实用的精度-延迟性比例,而 ViT-S 作为未来硬件的参考基准。
引用
@article{arxiv.2603.26250,
title = {Real-Time Branch-to-Tool Distance Estimation for Autonomous UAV Pruning: Benchmarking Five DEFOM-Stereo Variants from Simulation to Jetson Deployment},
author = {Yida Lin and Bing Xue and Mengjie Zhang and Sam Schofield and Richard Green},
journal= {arXiv preprint arXiv:2603.26250},
year = {2026}
}