一种用于通用光场重建的生成模型
图像与视频处理
2020-06-19 v2 计算机视觉与模式识别
摘要
近来深度生成模型在建模训练数据分布方面取得了令人瞩目的进展。在本工作中，我们首次提出一种使用变分自编码器来捕捉光场块数据分布的 4D 光场块生成模型。我们开发了以光场中心视图为条件的生成模型，并将其作为先验纳入能量最小化框架中，以解决多样的光场重建任务。虽然纯基于学习的方法在此类问题的每个实例上确实取得了优异结果，但其适用性受限于其所训练的特定观测模型。相反，我们训练的光场生成模型可作为先验嵌入任意基于模型的优化方法中，从而扩展到包括光场视点合成、空间-角度超分辨率以及从编码投影重建在内的多样重建任务。我们提出的方法展现出良好的重建效果，性能接近端到端训练网络，同时在合成与真实场景上均优于传统的基于模型的方法。此外，我们表明即便输入存在失真，我们的方法也能实现可靠的光场恢复。
引用
@article{arxiv.2005.06508,
title = {A Generative Model for Generic Light Field Reconstruction},
author = {Paramanand Chandramouli and Kanchana Vaishnavi Gandikota and Andreas Goerlitz and Andreas Kolb and Michael Moeller},
journal= {arXiv preprint arXiv:2005.06508},
year = {2020}
}