RPG360: 基于透视基础模型和图优化的鲁棒360深度估计
计算机视觉与模式识别
2025-09-30 v1
摘要
360图像在各个领域的日益增长使用强调了针对全景图像制定鲁棒深度估计技术的必要性。然而,获取针对360深度估计的大规模标记数据集仍是一个重大挑战。本文提出了RPG360,一种利用透视基础模型和图优化实现360单目深度估计的训练-free鲁棒方法。我们的方法将360图像转换为六面体表示,其中采用透视基础模型估计深度和法线。为解决不同面板之间深度尺度不一致的问题,我们引入一种基于图的深度尺度对齐技术,该技术对预测的深度和法线图进行参数化,并包含额外的每个面板尺度参数。该优化确保六面体表示中深度尺度一致,同时保持3D结构完整性。此外,由于基础模型在零-shot设置下天然具有鲁棒性,我们的方法在 diverse 数据集上实现了卓越的性能,包括Matterport3D、Stanford2D3D 和360Loc。我们还通过验证下游任务中的性能提升来展示了该深度估计方法的多功能性,包括特征匹配3.2 ~ 5.4%(AUC@5)和Structure from Motion 0.2 ~ 9.7%(AUC@5)。
引用
@article{arxiv.2509.23991,
title = {RPG360: Robust 360 Depth Estimation with Perspective Foundation Models and Graph Optimization},
author = {Dongki Jung and Jaehoon Choi and Yonghan Lee and Dinesh Manocha},
journal= {arXiv preprint arXiv:2509.23991},
year = {2025}
}