中文

SLS4D:用于 4D 新视角合成的稀疏潜在空间

计算机视觉与模式识别 2023-12-18 v1 图形学

摘要

神经辐射场(NeRF)在静态场景的新视角合成和 3D 表示方面取得了巨大成功。现有的动态 NeRF 通常利用局部稠密网格来拟合形变场;然而,它们未能捕捉全局动态,同时产生了参数量庞大的模型。我们观察到 4D 空间本质上是稀疏的。首先,由于运动的连续性,形变场在空间上是稀疏的,但在时间上是稠密的。其次,辐射场仅在底层场景的表面上是有效的,通常只占据整个空间的一小部分。因此,我们提出使用一种可学习的稀疏潜在空间来表示 4D 场景,也称为 SLS4D。具体而言,SLS4D 首先使用稠密的可学习时间槽特征来描绘时间空间,并通过线性多层感知机(MLP)从中拟合形变场,以预测任意时间下 3D 位置的位移。然后,它使用另一个稀疏潜在空间学习 3D 位置的空间特征。这是通过利用注意力机制学习每个潜在码的自适应权重来实现的。大量实验证明了我们的 SLS4D 的有效性:它仅使用最新工作约 6%6\% 的参数就实现了最佳的 4D 新视角合成。

关键词

引用

@article{arxiv.2312.09743,
  title  = {SLS4D: Sparse Latent Space for 4D Novel View Synthesis},
  author = {Qi-Yuan Feng and Hao-Xiang Chen and Qun-Ce Xu and Tai-Jiang Mu},
  journal= {arXiv preprint arXiv:2312.09743},
  year   = {2023}
}

备注

10 pages, 6 figures