尺度一致融合：从异构局部采样到全局沉浸式绘制
计算机视觉与模式识别
2022-10-05 v1
摘要
基于稀疏、大基线采样的图像几何建模与新视角合成对于虚拟现实与沉浸式远程呈现等新兴多媒体应用而言颇具挑战却十分重要。现有方法因难以在此类困难参考条件下推断可靠深度信息而无法产生满意结果。随着商用光场（LF）相机的普及，捕获光场图像（LFI）已如拍摄普通照片般便捷，且几何信息可被可靠推断。这启发我们使用稀疏光场捕获集全局绘制高质量新视角。然而，由于不同捕获设置引起的尺度不一致，多角度LF捕获的融合颇具挑战。为克服该挑战，我们提出一种新颖的尺度一致体积重缩放算法，鲁棒地对齐不同捕获间的视差概率体（DPV）以实现尺度一致的全局几何融合。基于投影至目标相机视锥的融合DPV，我们提出了新颖的基于学习的模块（即注意力引导多尺度残差融合模块与视差场引导深度重正则化模块），其综合正则化来自异构捕获的含噪观测，以实现新LFI的高质量绘制。在Stanford Lytro多视角LF数据集上的定量与定性实验均表明，所提方法在视差推断与LF合成的不同实验设置下均显著优于SOTA方法。
引用
@article{arxiv.2106.09548,
title = {Scale-Consistent Fusion: from Heterogeneous Local Sampling to Global Immersive Rendering},
author = {Wenpeng Xing and Jie Chen and Zaifeng Yang and Qiang Wang},
journal= {arXiv preprint arXiv:2106.09548},
year = {2022}
}