Grid4D:面向高保真动态高斯泼溅的 4D 分解哈希编码
计算机视觉与模式识别
2024-12-30 v3
摘要
最近,高斯泼溅在静态场景渲染领域受到了越来越多的关注。由于显式表示的低计算开销和固有灵活性,基于平面的显式方法是预测基于高斯的动态场景渲染模型形变的流行方式。然而,基于平面的方法依赖于不恰当的低秩假设,并过度分解时空 4D 编码,导致过多的特征重叠和不理想的渲染质量。为了解决这些问题,我们提出了 Grid4D,这是一个基于高斯泼溅的动态场景渲染模型,并通过哈希编码对 4D 输入采用了一种新颖的显式编码方法。与基于平面的显式表示不同,我们在没有低秩假设的情况下,将 4D 编码分解为一个空间 3D 哈希编码和三个时间 3D 哈希编码。此外,我们设计了一个新颖的注意力模块,该模块在方向范围内生成注意力分数以聚合空间和时间特征。定向注意力使 Grid4D 能够基于空间编码特征更准确地拟合不同场景组件之间的多样形变。此外,为了减轻显式表示方法固有的缺乏平滑性的问题,我们引入了一个平滑正则化项,使我们的模型避免形变预测的混乱。我们的实验表明,Grid4D 在视觉质量和渲染速度上均显著优于 SOTA 模型。
引用
@article{arxiv.2410.20815,
title = {Grid4D: 4D Decomposed Hash Encoding for High-Fidelity Dynamic Gaussian Splatting},
author = {Jiawei Xu and Zexin Fan and Jian Yang and Jin Xie},
journal= {arXiv preprint arXiv:2410.20815},
year = {2024}
}
备注
Accepted by NeurIPS 2024