SLS4D:用于 4D 新视角合成的稀疏潜在空间
计算机视觉与模式识别
2023-12-18 v1 图形学
摘要
神经辐射场(NeRF)在静态场景的新视角合成和 3D 表示方面取得了巨大成功。现有的动态 NeRF 通常利用局部稠密网格来拟合形变场;然而,它们未能捕捉全局动态,同时产生了参数量庞大的模型。我们观察到 4D 空间本质上是稀疏的。首先,由于运动的连续性,形变场在空间上是稀疏的,但在时间上是稠密的。其次,辐射场仅在底层场景的表面上是有效的,通常只占据整个空间的一小部分。因此,我们提出使用一种可学习的稀疏潜在空间来表示 4D 场景,也称为 SLS4D。具体而言,SLS4D 首先使用稠密的可学习时间槽特征来描绘时间空间,并通过线性多层感知机(MLP)从中拟合形变场,以预测任意时间下 3D 位置的位移。然后,它使用另一个稀疏潜在空间学习 3D 位置的空间特征。这是通过利用注意力机制学习每个潜在码的自适应权重来实现的。大量实验证明了我们的 SLS4D 的有效性:它仅使用最新工作约 的参数就实现了最佳的 4D 新视角合成。
引用
@article{arxiv.2312.09743,
title = {SLS4D: Sparse Latent Space for 4D Novel View Synthesis},
author = {Qi-Yuan Feng and Hao-Xiang Chen and Qun-Ce Xu and Tai-Jiang Mu},
journal= {arXiv preprint arXiv:2312.09743},
year = {2023}
}
备注
10 pages, 6 figures