神经场景时序重建
计算机视觉与模式识别
2023-06-14 v1
摘要
本文中，我们旨在从大规模地标的互联网照片中重建一个时变3D模型，该模型能够独立控制视点、光照与时间，并渲染出照片级真实感图像。核心挑战有二。首先，不同类型的时间变化（如光照以及底层场景本身的变化，例如用另一幅涂鸦作品替换原作品）在图像中相互纠缠。其次，场景级时间变化常随时间呈离散且偶发状，而非连续。为应对这些问题，我们提出一种新的场景表征，配备新颖的时间阶跃函数编码方法，可将离散的场景级内容变化建模为随时间分段常数函数。具体而言，我们将场景表示为带每图光照嵌入的时空辐射场，其中时变场景变化通过一组学习的阶跃函数编码。为便于从互联网图像进行时序重建的任务，我们还收集了一个包含四个随时间呈现多种变化场景的新数据集。我们证明，该方法在该数据集上取得了最先进的视图合成结果，同时实现了对视点、时间与光照的独立控制。
引用
@article{arxiv.2306.07970,
title = {Neural Scene Chronology},
author = {Haotong Lin and Qianqian Wang and Ruojin Cai and Sida Peng and Hadar Averbuch-Elor and Xiaowei Zhou and Noah Snavely},
journal= {arXiv preprint arXiv:2306.07970},
year = {2023}
}
备注
CVPR 2023; Project page: https://zju3dv.github.io/neusc/