利用全卷积网络从单图像高效可扩展地生成视图

基于单图像的视图生成(SIVG)对于生成3D立体内容十分重要。此处，期望能处理不同空间分辨率输入并同时优化重建精度与处理速度。最新方法基于卷积神经网络(CNN)，并生成了有前景的结果。然而，它们使用全连接层以及预训练的VGG，迫使在重建精度与处理速度之间妥协。此外，该方法局限于使用特定空间分辨率。为补救这些问题，我们提议利用全卷积网络(FCN)进行SIVG。我们提出两种用于SIVG的FCN架构。第一种基于FCN与称为DeepView$_{ren}$的视图渲染网络的组合。第二种由用于亮度与色度信号的解耦网络组成，记为DeepView$_{dec}$。为训练我们的方案，我们提出一个包含2M立体图像的大型数据集。结果表明，我们的两种架构在精度与速度上均优于现有最佳方法。DeepView$_{ren}$生成与现有最佳方法相竞争的精度，但具有所有方法中最快的处理速度。即相比现有最佳方法，速度快5倍且内存消耗低24倍。DeepView$_{dec}$具有更高得多的精度，但速度快2.5倍且内存消耗低12倍。我们通过客观与主观研究评估了我们的方法。