SinGRAV：从单一自然场景学习生成式辐射场体积
计算机视觉与模式识别
2022-10-18 v3
摘要
我们提出一种面向通用自然场景的三维生成模型。由于缺乏刻画目标场景的必要三维数据量，我们提出从单一场景中学习。我们的核心见解是：自然场景常包含多个组成要素，其几何、纹理与空间排布遵循某些清晰模式，但在同一场景的不同区域仍展现出丰富变化。这表明应将生成模型的学习定位在充分的局部区域上。因此，我们利用本质上具有空间局部性偏置的多尺度卷积网络，从单一场景内多尺度的局部区域统计中学习。与现有方法不同，我们的学习设置规避了从许多同质三维场景中收集数据以学习共性特征的需求。我们将所提方法命名为 SinGRAV，即从单一自然场景学习生成式辐射场体积（Generative RAdiance Volume）。我们展示了 SinGRAV 从单一场景生成合理且多样变化的能力、其相对于最先进生成式神经场景方法的优势，以及 SinGRAV 在多种应用中的通用性，涵盖三维场景编辑、合成与动画。代码与数据将公开以促进进一步研究。
引用
@article{arxiv.2210.01202,
title = {SinGRAV: Learning a Generative Radiance Volume from a Single Natural Scene},
author = {Yujie Wang and Xuelin Chen and Baoquan Chen},
journal= {arXiv preprint arXiv:2210.01202},
year = {2022}
}
备注
see project page at https://singrav.github.io