将深度图超分辨率作为新视角合成的深度监督方法

深度卷积神经网络（DCNN）已成功应用于深度图超分辨率，并以较大优势优于现有方法。然而，这些基于 DCNN 的深度图超分辨率方法仍存在两个主要问题阻碍性能：i）低分辨率深度图要么需在输入网络前上采样，要么必须使用大量的反卷积；ii）监督（高分辨率深度图）仅应用于网络末端，因此难以处理大的上采样倍数，如 $\times 8, \times 16$。本文提出一个新框架来解决上述问题。首先，我们提出将深度图超分辨率任务表示为一系列新视角合成子任务。新视角合成子任务旨在从不同相机位姿生成（合成）深度图，可并行学习。其次，为处理大上采样倍数，我们提出一种深度监督网络结构，以在网络各阶段施加强监督。第三，提出多尺度融合策略以有效利用不同尺度的特征图并处理块效应。由此，我们提出的框架可在大上采样倍数（例如 $\times 8, \times 16$）下高效处理具有挑战性的深度图超分辨率。我们的方法仅以低分辨率深度图作为输入，无需彩色图像的支持，极大降低了方法的限制。在各种基准数据集上的大量实验证明了我们的方法相对于当前最先进深度图超分辨率方法的优越性。