Deep 3D-Zoom Net：照片级真实 3D 缩放的无监督学习
图像与视频处理
2019-10-03 v2 计算机视觉与模式识别
信号处理
摘要
3D 缩放操作是相机沿垂直于像平面的 Z 轴的正向平移。相比之下，光学变焦改变焦距，数字变焦用于将图像的某一区域放大到原始图像尺寸。在本文中，我们首次提出无监督 3D 缩放学习问题，其中可从给定单幅图像生成任意缩放因子的图像。无监督框架是便利的，因为由于需要特殊设备以确保相机运动限制在 Z 轴，获取自然场景的 3D 缩放数据集是一项具有挑战性的任务。此外，场景中的物体在被捕获时不应移动，这阻碍了室外场景大型数据集的构建。我们提出一种新颖的无监督框架来学习如何生成单幅图像的任意 3D 缩放版本，无需 3D 缩放真值，称为 Deep 3D-Zoom Net。Deep 3D-Zoom Net 包含以下特性：(i) 通过反向重投影重建损失从预训练视差估计网络进行迁移学习；(ii) 建模基于深度图像的绘制（DIBR）的全卷积网络架构，考虑高频细节而无需估计中间视差；(iii) 引入判别网络作为对不自然绘制区域的无参考惩罚。尽管没有基线能公平比较我们的结果，我们的方法在大型相机基线下真实外观方面优于先前的新视角合成研究。我们在 KITTI 和 Cityscapes 数据集上进行了大量实验以验证我们方法的有效性。
引用
@article{arxiv.1909.09349,
title = {Deep 3D-Zoom Net: Unsupervised Learning of Photo-Realistic 3D-Zoom},
author = {Juan Luis Gonzalez Bello and Munchurl Kim},
journal= {arXiv preprint arXiv:1909.09349},
year = {2019}
}
备注
Check our video at https://www.youtube.com/watch?v=Gz76VYwUzZ8