用于稠密深度预测的层次感知适配器与混合金字塔特征融合
计算机视觉与模式识别
2026-04-07 v1
摘要
由于固有的尺度模糊性和缺乏显式几何线索，从单张RGB图像进行单目深度估计仍然是计算机视觉中的一个基本挑战。现有方法通常依赖日益复杂的网络架构来回归深度图，这增加了训练成本和计算开销，却未能充分利用像素间的空间依赖关系。我们提出了一种基于Swin Transformer骨干网络的多层感知条件随机场（CRF）模型，通过三项协同创新来解决这些局限性：（1）自适应混合金字塔特征融合（HPF）策略，通过结合多尺度空间金字塔池化和双轴特征聚合来捕获短程和长程依赖关系，实现全局和局部上下文信息的有效整合；（2）层次感知适配器（HA），通过带有可学习维度缩放的轻量级广播模块，丰富编码器内的跨层特征交互，在降低计算复杂度的同时增强表示能力；（3）带有动态缩放注意力的全连接CRF解码器，建模细粒度像素级空间关系，并引入偏差学习单元以防止极值崩溃并确保训练稳定。在NYU Depth v2、KITTI和MatterPort3D数据集上的大量实验表明，我们的方法达到了最先进的性能，在NYU Depth v2上将Abs Rel降至0.088（-7.4%），RMSE降至0.316（-5.4%），同时在KITTI上以仅194M参数和21ms推理时间实现了近乎完美的阈值精度（δ < 1.25³ ≈ 99.8%）。
引用
@article{arxiv.2604.03339,
title = {Hierarchical Awareness Adapters with Hybrid Pyramid Feature Fusion for Dense Depth Prediction},
author = {Wuqi Su and Huilun Song and Chen Zhao and Chi Xu},
journal= {arXiv preprint arXiv:2604.03339},
year = {2026}
}