一种可学习紧凑且可编辑的光场表示
计算机视觉与模式识别
2021-03-23 v1
摘要
光场是一种四维场景表示,通常结构为视图阵列或单视图中每像素的若干方向采样。然而,这种高度相关的结构在传输与处理(尤其是编辑)方面效率不高。为解决这些问题,我们提出一种新颖的紧凑且可编辑光场表示,由一组视觉通道(即中心RGB视图)与一个编码残差几何与外观信息的互补元通道组成。该表示中的视觉通道可使用现有二维图像编辑工具进行编辑,之后精确重建整个编辑后的光场。我们提出通过自编码器框架学习该表示,包含用于学习表示的编码器与用于重建光场的解码器。为处理具有挑战性的遮挡与编辑传播,我们专门设计了编辑感知解码网络及其相关训练策略,使对视觉通道的编辑在重建时能够一致地传播至整个光场。实验结果表明,我们所提方法在重建精度上优于现有相关方法,并在编辑传播上取得视觉愉悦的效果。
引用
@article{arxiv.2103.11314,
title = {A Learned Compact and Editable Light Field Representation},
author = {Menghan Xia and Jose Echevarria and Minshan Xie and Tien-Tsin Wong},
journal= {arXiv preprint arXiv:2103.11314},
year = {2021}
}
备注
submitted to TIP since 2020.08.03