DIBR 视点合成中基于多参考视角的空洞填充
计算机视觉与模式识别
2018-02-12 v1
摘要
基于深度图像的绘制（DIBR）导向的视点合成已广泛应用于当前基于深度的 3D 视频系统，通过从任意视点合成虚拟视点来实现。然而，由于遮挡解除，合成视点中可能出现空洞，从而显著降低质量。因此，人们致力于开发高效有效的空洞填充算法。当前的空洞填充技术通常基于空洞内纹理模式与邻近背景信息相似的假设，利用邻近信息对空洞区域进行外推/内插。但在许多场景尤其是复杂纹理下，该假设可能不成立。换言之，考虑到图像种类繁多且场景复杂，空洞填充技术只能提供可能不够好甚至错误的空洞估计。本文中，我们首先考察了多参考视角的视点插值，表明除两个（常用）最邻近主视角外，充分利用其他邻近互补视角可极大缓解目标虚拟视点中空洞出现的问题。本文还研究了利用多视角进行视点外推以减少空洞的效果。鉴于 3D 视频及正在进行的自由视点电视标准化，我们提出了一种利用多视角合成输出虚拟视点的新视点合成框架。此外，通过高效定位互补视角中少量有用像素以减少空洞，开发了互补视角选择性变形方案，以避免对额外互补视角进行完整变形，从而大幅降低变形复杂度。
引用
@article{arxiv.1802.03079,
title = {Hole Filling with Multiple Reference Views in DIBR View Synthesis},
author = {Shuai Li and Ce Zhu and Ming-Ting Sun},
journal= {arXiv preprint arXiv:1802.03079},
year = {2018}
}
备注
12 pages, accepted by IEEE Transactions on Multimedia