从单张网络图片生成自适应多平面图像
计算机视觉与模式识别
2020-11-30 v1
摘要
在过去几年中，已有若干工作致力于从立体图像甚至单张图片合成新视角图像的问题。然而，以往方法计算开销大，尤其对高分辨率图像而言。本文研究从单张高分辨率图片生成多平面图像（MPI）的问题。我们提出自适应MPI表示，能够以较低的计算需求渲染新视角。为此，我们设计了一种自适应切片算法，可生成具有可变数量图像平面的MPI。我们提出了一种用于深度估计的新型轻量卷积神经网络（CNN），其通过从更大网络进行知识蒸馏学习得到。自适应MPI中的遮挡区域同样由一个轻量CNN进行修复。我们表明，与以往方法相比，我们的方法能够以少一个数量级的参数量生成高质量预测。我们在来自互联网的极具挑战性的图片上验证了方法的鲁棒性。
引用
@article{arxiv.2011.13317,
title = {Adaptive Multiplane Image Generation from a Single Internet Picture},
author = {Diogo C. Luvizon and Gustavo Sutter P. Carvalho and Andreza A. dos Santos and Jhonatas S. Conceicao and Jose L. Flores-Campana and Luis G. L. Decker and Marcos R. Souza and Helio Pedrini and Antonio Joia and Otavio A. B. Penatti},
journal= {arXiv preprint arXiv:2011.13317},
year = {2020}
}