V4d：用于4D新视角合成的体素表示

Wanshui Gan; Hongbin Xu; Yi Huang; Shifeng Chen; Naoto Yokoya

V4d：用于4D新视角合成的体素表示

计算机视觉与模式识别 2024-08-14 v4

作者: Wanshui Gan , Hongbin Xu , Yi Huang , Shifeng Chen , Naoto Yokoya

摘要

神经辐射场在3D静态场景的新视角合成任务中取得了显著突破。然而，对于4D情形（如动态场景），现有方法的性能仍受限于神经网络（通常为多层感知机网络，MLP）的容量。本文中，我们利用3D体素（voxel）来建模4D神经辐射场，简称V4D，其中3D体素有两种形式。第一种是规则化建模3D空间，然后使用采样的局部3D特征与时间索引，通过微小MLP建模密度场与纹理场。第二种为查找表（LUTs）格式，用于像素级细化，其中利用体渲染产生的伪表面作为引导信息来学习2D像素级细化映射。所提出的基于LUTs的细化模块以极低计算代价获得性能提升，并可作为新视角合成任务中的即插即用模块。此外，我们针对4D数据提出了一种更有效的条件位置编码，以可忽略的计算负担实现性能增益。大量实验表明，所提方法以低计算代价达到了最先进的性能。

关键词

新视角合成 4D神经辐射场 3D体素查找表像素级细化条件位置编码

引用

@article{arxiv.2205.14332,
  title  = {V4d: voxel for 4d novel view synthesis},
  author = {Wanshui Gan and Hongbin Xu and Yi Huang and Shifeng Chen and Naoto Yokoya},
  journal= {arXiv preprint arXiv:2205.14332},
  year   = {2024}
}

备注

Code released. Accepted by IEEE TVCG 2023

V4d：用于4D新视角合成的体素表示

摘要

关键词

引用

备注

相关论文