从单张图像合成具有视角依赖效果的新视角
计算机视觉与模式识别
2023-12-14 v1 图像与视频处理
摘要
本文首次将视角依赖效应纳入基于单张图像的新视角合成（NVS）问题。为此，我们提出利用 NVS 中的相机运动先验，将视角依赖外观或效应（VDE）建模为场景中的负视差。通过认识到高光“跟随”相机运动，我们沿极线的负深度区域聚合输入像素颜色，从而将 VDE 注入输入图像。此外，我们提出了一种“松弛体积渲染”近似方法，允许在单次传递中计算密度，提高了单图像 NVS 的效率。我们的方法可以仅从图像序列中学习单图像 NVS，这是一种完全自监督的学习方法，首次既不需要深度标注也不需要相机姿态标注。我们展示了大量的实验结果，表明我们提出的方法能够学习带有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于当前最先进的单视图 NVS 方法。
引用
@article{arxiv.2312.08071,
title = {Novel View Synthesis with View-Dependent Effects from a Single Image},
author = {Juan Luis Gonzalez Bello and Munchurl Kim},
journal= {arXiv preprint arXiv:2312.08071},
year = {2023}
}
备注
Visit our website https://kaist-viclab.github.io/monovde-site