用于深度超分辨率的对称不确定性感知特征传输
计算机视觉与模式识别
2023-06-02 v1
摘要
色彩引导的深度超分辨率(DSR)是一种有前景的范式，它利用来自同一场景的额外高分辨率(HR) RGB 图像引导来增强低分辨率(LR)深度图。现有方法通常在使用插值将深度图上采样后输入网络，并传输从 HR RGB 图像中提取的高频信息以引导深度图的重建。然而，在跨模态鸿沟存在的情况下，提取的高频信息通常包含深度图中不存在的纹理，并且由于 RGB 与深度图像之间的分辨率鸿沟，噪声会被插值进一步放大。为应对这些挑战，我们提出了一种用于色彩引导 DSR 的新型对称不确定性感知特征传输(SUFT)。(1) 对于分辨率鸿沟，SUFT 构建了一个迭代的上-下采样流水线，通过替换常见的插值预上采样，使深度特征与 RGB 特征在空间上一致，同时抑制噪声放大与模糊。(2) 对于跨模态鸿沟，我们提出了一种新型对称不确定性方案，以去除对 HR 深度图恢复有害的部分 RGB 信息。在基准数据集和具有挑战性的真实场景设置上的大量实验表明，与最先进的方法相比，我们的方法取得了优越的性能。我们的代码和模型见于 https://github.com/ShiWuxuan/SUFT。
引用
@article{arxiv.2306.00386,
title = {Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution},
author = {Wuxuan Shi and Mang Ye and Bo Du},
journal= {arXiv preprint arXiv:2306.00386},
year = {2023}
}
备注
10 pages, 9 figures, accepted by the 30th ACM International Conference on Multimedia (ACM MM 22)