ZeD-MAP: 基于 bundle adjustment 引导的零样本深度图用于实时空中成像
计算机视觉与模式识别
2026-05-14 v2 机器学习
机器人学
摘要
从超高分辨率无人机影像中进行实时深度重建对于灾害响应等时间关键的地理空间任务至关重要，但由于宽基线视差、大图像尺寸、低纹理或镜面表面、遮挡以及严格的计算约束，这仍然具有挑战性。近期的零样本扩散模型能够在无需任务特定微调的情况下快速进行逐图像密集预测，需要的标注数据集比基于变换器的预测器更少，同时避免了经典多视角立体视觉对刚性拍摄几何的要求。然而，其概率推理导致在连续帧和重叠图块之间无法保证可靠的度量精度和时间一致性。我们提出了 ZeD-MAP，一个集群级框架，通过集成增量式基于集群的 bundle adjustment（BA），将测试时的扩散深度模型转换为具有度量一致性的、类似 SLAM 的建图流水线。流式无人机帧被分组为重叠的集群；定期的 BA 产生具有度量一致性的姿态和稀疏 3D 控制点，这些点被重投影到选定帧中，并用作扩散深度估计的度量引导。在使用 DLR 模块化机载摄像系统（MACS）在约 50 米高度（地面采样距离 GSD 约为 0.85 厘米/像素，对应每帧约 2650 平方米地面覆盖范围）拍摄的地面标记飞行上进行验证，结果表明我们的方法达到了亚米级精度，水平（XY）平面误差约为 0.87 米，垂直（Z）方向误差为 0.12 米，同时保持每张图像处理时间在 1.47 至 4.91 秒之间。结果受到手动点云标注带来的轻微噪声影响。这些发现表明，基于 BA 的度量引导能够提供与经典摄影测量方法相当的度量一致性，同时显著加速处理，实现实时 3D 地图生成。
引用
@article{arxiv.2604.04667,
title = {ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging},
author = {Selim Ahmet Iz and Francesco Nex and Norman Kerle and Henry Meissner and Ralf Berger},
journal= {arXiv preprint arXiv:2604.04667},
year = {2026}
}