面向新视角合成的自监督可见性学习
计算机视觉与模式识别
2021-04-06 v2
摘要
我们解决从少量稀疏源视角图像进行新视角合成（NVS）的问题。传统的基于图像的绘制方法分两步估计场景几何并合成新视角。然而，错误的几何估计会降低NVS性能，因为视角合成高度依赖于估计场景几何的质量。本文提出一种端到端NVS框架以消除误差传播问题。具体而言，我们在目标视角下构建体素，并设计源视角可见性估计（SVE）模块以确定目标视角体素在各源视角中的可见性。接下来，我们聚合所有源视角的可见性以获得共识体素（consensus volume）。共识体素中的每个体素表示表面存在概率。然后，我们提出一种软光线投射（SRC）机制以在目标视角中找到最前方表面（即深度）。具体地，我们的SRC沿视线遍历共识体素，并估计深度概率分布。随后，我们基于估计的源视角可见性与目标视角深度对源视角像素进行扭曲与聚合以合成新视角。最后，我们的网络以端到端自监督方式训练，从而显著缓解视角合成中的误差累积。实验结果表明，与当前最优方法相比，我们的方法生成的新视角质量更高。
引用
@article{arxiv.2103.15407,
title = {Self-Supervised Visibility Learning for Novel View Synthesis},
author = {Yujiao Shi and Hongdong Li and Xin Yu},
journal= {arXiv preprint arXiv:2103.15407},
year = {2021}
}
备注
accepted to CVPR2021