面向照片外推的室外场景分解式可控神经重渲染
计算机视觉与模式识别
2022-07-15 v1
摘要
将现有游客照片从部分捕获的场景扩展为完整场景是摄影应用所期望的体验之一。尽管照片外推已被充分研究，但将照片（如自拍）从窄视场外推到更宽视场同时保持相似视觉风格则要困难得多。本文中，我们提出一种分解式神经重渲染模型，从杂乱的室外互联网照片集合中生成逼真新视角，其支持可控场景重渲染、照片外推乃至外推 3D 照片生成等应用。具体而言，我们首先开发一种新颖的分解式重渲染流程来处理几何、外观与光照分解中的歧义。我们还提出一种合成训练策略以应对互联网图像中意外的遮挡。此外，为增强游客照片外推时的真实感，我们提出一种新颖的真实感增强过程来补充外观细节，其自动将窄捕获照片的纹理细节传播到外推的神经渲染图像。在室外场景上的实验与照片编辑示例证明了我们所提方法在真实感与下游应用中的优越性能。
引用
@article{arxiv.2207.06899,
title = {Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation},
author = {Boming Zhao and Bangbang Yang and Zhenyang Li and Zuoyue Li and Guofeng Zhang and Jiashu Zhao and Dawei Yin and Zhaopeng Cui and Hujun Bao},
journal= {arXiv preprint arXiv:2207.06899},
year = {2022}
}
备注
Accepted to ACM Multimedia 2022. Project Page: https://zju3dv.github.io/neural_outdoor_rerender/