提示 Depth Anything 以实现 4K 分辨率的精确度量深度估计
高能物理 - 理论
2025-11-05 v3 广义相对论与量子宇宙学
摘要
提示在释放语言与视觉基础模型针对特定任务的能力方面起着关键作用。我们首次将提示引入深度基础模型，开创了一种称为 Prompt Depth Anything 的度量深度估计新范式。具体而言，我们使用低成本 LiDAR 作为提示来引导 Depth Anything 模型输出精确的度量深度，分辨率最高可达 4K。我们的方法核心是一个简洁的提示融合设计，在深度解码器内多尺度地集成 LiDAR。为应对同时包含 LiDAR 深度与精确 GT 深度的有限数据集所带来的训练挑战，我们提出了一条可扩展的数据管线，包括合成数据的 LiDAR 仿真与真实数据的伪 GT 深度生成。我们的方法在 ARKitScenes 和 ScanNet++ 数据集上刷新了 SOTA，并惠及下游应用，包括三维重建与广义机器人抓取。
引用
@article{arxiv.2412.14014,
title = {Real observers solving imaginary problems},
author = {Juan Maldacena},
journal= {arXiv preprint arXiv:2412.14014},
year = {2025}
}
备注
17 pages, 3 figures. V2: Some conclusions changed, there is now an uncancelled minus sign. V3: reference added