中文

DN-4DGS:用于动态场景渲染的去噪可变形网络与时空聚合

计算机视觉与模式识别 2024-11-07 v2

摘要

动态场景渲染是一个既有趣又具挑战性的问题。虽然目前基于 NeRF 的方法已取得满意的效果,但仍无法实现实时水平。最近,3D 高斯溅写 (3D Gaussian Splatting, 3DGS) 因其卓越的渲染质量和实时速度而受到研究者关注。因此,提出了新的范式:定义规范 3D 高斯并通过可变形场将其变形到单个帧。然而,由于规范 3D 高斯的坐标被噪声污染,这些噪声会传递到可变形场中,且目前尚无方法充分考虑 4D 信息的聚合。因此,我们提出了 Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering (DN-4DGS)。具体而言,引入噪声抑制策略以改变规范 3D 高斯坐标的分布并抑制噪声。此外,设计了解耦时空聚合模块以聚合相邻点和帧的信息。在 various 真实世界数据集上的大量实验表明,我们的方法在实现实时水平的同时,达到了卓越的渲染质量。

关键词

引用

@article{arxiv.2410.13607,
  title  = {DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering},
  author = {Jiahao Lu and Jiacheng Deng and Ruijie Zhu and Yanzhe Liang and Wenfei Yang and Tianzhu Zhang and Xu Zhou},
  journal= {arXiv preprint arXiv:2410.13607},
  year   = {2024}
}

备注

Accepted by NeurIPS 2024