RGBD-Net：预测颜色与深度图像以合成新视角
计算机视觉与模式识别
2022-08-02 v2 图形学
摘要
我们提出了一种用于新视角合成的新级联架构，称为 RGBD-Net，其由两个核心组件构成：分层深度回归网络与深度感知生成网络。前者通过自适应深度缩放预测目标视角的深度图，而后者利用预测的深度并渲染空间与时间一致的目标图像。在标准数据集上的实验评估中，RGBD-Net 不仅以明显优势超越最先进（state-of-the-art）方法，而且无需逐场景优化即可很好地泛化至新场景。此外，我们表明 RGBD-Net 可在无深度监督下可选训练，同时仍保持高质量渲染。得益于深度回归网络，RGBD-Net 还可用于创建比某些最先进多视立体方法所生成的更为稠密的 3D 点云。
引用
@article{arxiv.2011.14398,
title = {RGBD-Net: Predicting color and depth images for novel views synthesis},
author = {Phong Nguyen-Ha and Animesh Karnewar and Lam Huynh and Esa Rahtu and Jiri Matas and Janne Heikkila},
journal= {arXiv preprint arXiv:2011.14398},
year = {2022}
}
备注
19 pages, 15 figures. Code will be available at: https://github.com/phongnhhn92/RGBDNet