面向宽基线极稀疏光场的可学习动态插值方法
计算机视觉与模式识别
2021-08-19 v2
摘要
本文致力于从宽基线的稀疏采样光场(LF)中重建稠密光场，并提出一种可学习模型，即动态插值(dynamic interpolation)，以替代常用的几何扭曲(geometry warping)操作。具体而言，在估计输入视图间几何关系的基础上，我们首先构建一个轻量级神经网络，动态学习用于插值输入视图中相邻像素的权重，从而独立地合成新视图的每个像素。与几何扭曲操作中采用的固定且与内容无关的权重不同，所学习的插值权重隐式地融合了源视图与新视图之间的对应关系，并适应不同的图像内容信息。随后，我们利用基于几何的空间细化模块，通过参考输入视图的空间相关性来恢复每个新视图中独立合成像素之间的空间相关性。我们还通过面向视差的LF结构损失来约束新视图间的角度相关性。在宽基线LF数据集上的实验结果表明，重建的LF取得了远高于现有最优(state-of-the-art)方法的PSNR/SSIM，并更好地保留了LF视差结构。源代码已公开于 https://github.com/MantangGuo/DI4SLF。
引用
@article{arxiv.2108.07408,
title = {Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines},
author = {Mantang Guo and Jing Jin and Hui Liu and Junhui Hou},
journal= {arXiv preprint arXiv:2108.07408},
year = {2021}
}
备注
Accepted by ICCV 2021