面向可泛化新视角合成的可调视觉外观
计算机视觉与模式识别
2024-01-29 v3
摘要
我们提出了一种可泛化的新视角合成方法，该方法能够修改所观测场景的视觉外观，使得渲染视图匹配目标天气或光照条件，而无需任何场景特定训练，也无需在目标条件下获取参考视图。我们的方法基于预训练的可泛化 transformer 架构，并在不同外观条件下合成生成的场景上进行微调。这使得能够对未包含在训练集中的 3D 场景以一致的方式渲染新视角，并具备（i）修改其外观以匹配目标条件以及（ii）在不同条件之间平滑插值的能力。在真实与合成场景上的实验表明，我们的方法能够生成 3D 一致的渲染结果，同时进行真实的外观改变，包括定性与定量比较。请访问我们的项目页面查看视频结果：https://ava-nvs.github.io/
引用
@article{arxiv.2306.01344,
title = {Adjustable Visual Appearance for Generalizable Novel View Synthesis},
author = {Josef Bengtson and David Nilsson and Che-Tsung Lin and Marcel Büsching and Fredrik Kahl},
journal= {arXiv preprint arXiv:2306.01344},
year = {2024}
}