Vidu4D：基于动态 Gaussian Surfels 的单生成视频高保真 4D 重建

视频生成模型因其生成逼真且富有想象力帧的能力而备受关注。此外，还观察到这些模型展现出强大的 3D 一致性，显著增强了其作为世界模拟器的潜力。在本工作中，我们提出了 Vidu4D，一种新颖的重建模型，擅长从单生成视频中精确重建 4D（即序列 3D）表示，解决了与非刚性和帧失真相关的挑战。此能力对于创建保持空间和时间连贯性的高保真虚拟内容至关重要。Vidu4D 的核心是我们提出的动态 Gaussian Surfels (DGS) 技术。DGS 优化时变扭曲函数，将 Gaussian surfels（表面元素）从静态状态转换为动态扭曲状态。这种变换能够精确描述随时间变化的运动和变形。为了保持表面对齐的 Gaussian surfels 的结构完整性，我们基于连续扭曲场设计了扭曲状态几何正则化以估计法线。此外，我们学习了对 Gaussian surfels 旋转和缩放参数的精细化处理，这极大缓解了扭曲过程中的纹理闪烁，并增强了对细粒度外观细节的捕捉。Vidu4D 还包含一种新颖的初始化状态，为 DGS 中的扭曲场提供了合适的起点。将 Vidu4D 与现有视频生成模型相结合，整体框架在外观和几何上均展示了高保真的文本到 4D 生成能力。