基于不确定性感知结构知识迁移的 360° 高分辨率深度估计
计算机视觉与模式识别
2024-05-24 v3
摘要
为预测高分辨率（HR）全向深度图，现有方法通常利用 HR 全向图像（ODI）作为输入进行全监督学习。然而在实践中，由于资源受限设备，以 HR ODI 作为输入并不可取。此外，深度图分辨率常低于彩色图像。因此，本文首次探索在无可用的 HR 深度真值图时，直接从低分辨率（LR）ODI 估计 HR 全向深度。我们的核心思想是将场景结构知识从 HR 图像模态及相应 LR 深度图迁移，以在无额外推理开销下实现 HR 深度估计。具体而言，我们引入 ODI 超分辨率（SR）作为辅助任务，并以弱监督方式协同训练两任务以提升 HR 深度估计性能。ODI SR 任务通过不确定性估计提取场景结构知识。在此基础上，提出一个含两个关键组件的场景结构知识迁移（SSKT）模块。首先，我们采用柱面隐式插值函数（CIIF）学习用于特征上采样的柱面神经插值权重，并在两任务间共享 CIIF 参数。然后，我们提出特征蒸馏（FD）损失，提供额外的结构正则化以帮助 HR 深度估计任务学习更多场景结构知识。大量实验表明，我们的弱监督方法优于基线方法，甚至取得与全监督方法相当的性能。
引用
@article{arxiv.2304.07967,
title = {360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware Structural Knowledge Transfer},
author = {Zidong Cao and Hao Ai and Athanasios V. Vasilakos and Lin Wang},
journal= {arXiv preprint arXiv:2304.07967},
year = {2024}
}
备注
10 pages