以 PanoGabor 为例重新审视 360 深度估计：一种新的融合视角
计算机视觉与模式识别
2026-02-05 v5
摘要
从单目 360 图像进行深度估计对于感知整个 3D 环境至关重要。然而，360 图像固有的畸变和大视场（FoV）为此任务带来了巨大挑战。为此，现有主流解决方案通常引入额外的基于透视的 360 表示（例如立方体图）以实现有效特征提取。然而，无论引入何种表示，最终都需要统一转换为等距矩形投影（ERP）格式进行后续深度估计，这不可避免地重新引入困扰人的畸变。本文提出一种面向畸变感知的 Gabor 融合框架（PGFuse），以解决上述挑战。首先，我们引入 Gabor 滤波器通过频域分析纹理，从而扩展感受野并增强深度线索。为解决重新引入的畸变，我们设计一种线性纬度感知畸变表示方法，以生成定制的、畸变感知的 Gabor 滤波器（PanoGabor 滤波器）。此外，我们设计了一种通道级和空间级的单向融合模块（CS-UFM），将所提出的 PanoGabor 滤波器融合，将其他表示统一转换为 ERP 格式，提供有效且无畸变的特征。鉴于 Gabor 变换的方向敏感性，我们引入球面梯度约束以稳定这一敏感性。在三个流行的室内 360 数据集上进行实验表明，所提出的 PGFuse 在现有 SOTA 解决方案方面具有优势。代码和模型将在 https://github.com/zhijieshen-bjtu/PGFuse 上提供。
引用
@article{arxiv.2408.16227,
title = {Revisiting 360 Depth Estimation with PanoGabor: A New Fusion Perspective},
author = {Zhijie Shen and Chunyu Lin and Lang Nie and Kang Liao and Weisi Lin and Yao Zhao},
journal= {arXiv preprint arXiv:2408.16227},
year = {2026}
}
备注
Accepted by TPAMI