用于视图合成的内容感知变形
计算机视觉与模式识别
2023-01-31 v3
摘要
现有的基于图像的绘制方法通常采用基于深度的图像变形操作来合成新视角。本文中，我们将传统变形操作的本质局限归结为有限的邻域以及仅基于距离的插值权重。为此，我们提出内容感知变形，通过轻量级神经网络从相对较大邻域像素的上下文信息中自适应地学习插值权重。基于该可学习变形模块，我们提出了一种新的端到端基于学习的从一组输入源视角合成新视角的框架，其中自然提出了两个附加模块，即基于置信度的混合与特征辅助空间细化，分别用于处理遮挡问题和捕获合成视角像素间的空间相关性。此外，我们还提出了权重平滑损失项以正则化网络。在具有宽基线的光场数据集和多视角数据集上的实验结果表明，所提方法在定量和视觉上均显著优于最先进的方法。源代码将公开于 https://github.com/MantangGuo/CW4VS。
引用
@article{arxiv.2201.09023,
title = {Content-aware Warping for View Synthesis},
author = {Mantang Guo and Junhui Hou and Jing Jin and Hui Liu and Huanqiang Zeng and Jiwen Lu},
journal= {arXiv preprint arXiv:2201.09023},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2108.07408