Depth Any Panoramas:用于全景深度估计的基座模型
计算机视觉与模式识别
2025-12-19 v1
摘要
本文提出了一种能够跨越多样化场景距离的全景度量深度基座模型。我们从数据构建和框架设计两个维度探索数据-循环范式。我们通过组合公开数据集、来自我们 UE5 模拟器和文本到图像模型的高质量合成数据,以及从网络收集的真实全景图像,构建了大规模数据集。为减少室内/户外和合成/真实数据之间的领域差距,我们引入了三阶段伪标签修订流程,用于生成不可标记图像的可靠基准。对于模型,我们采用 DINOv3-Large 作为骨干网络以利用其强大的预训练泛化能力,引入可插拔的范围掩码头、锐度中心优化和几何中心优化,以提高对不同距离的鲁棒性并在视角间强制几何一致性。在多个基准测试(如 Stanford2D3D、Matterport3D 和 Deep360)上的实验表明,模型表现强劲,零样本泛化能力出色,在多样化真实场景中实现稳健且一致的度量预测。项目页面可在 https://insta360-research-team.github.io/DAP_website/ 查看。
引用
@article{arxiv.2512.16913,
title = {Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation},
author = {Xin Lin and Meixi Song and Dizhe Zhang and Wenxuan Lu and Haodong Li and Bo Du and Ming-Hsuan Yang and Truong Nguyen and Lu Qi},
journal= {arXiv preprint arXiv:2512.16913},
year = {2025}
}
备注
Project Page: https://insta360-research-team.github.io/DAP_website/