SHaDe：通过三平面变形和潜在扩散实现紧凑且一致的动态3D重建
计算机视觉与模式识别
2025-05-23 v1
摘要
我们提出了一种用于动态3D场景重建的新框架，集成了三个关键组件：显式三平面变形场、基于球谐(H)注意力的视角条件规范辐射场，以及时序感知的潜在扩散先验。该方法使用三个沿时间演化的正交2D特征平面对4D场景进行编码，实现高效且紧凑的时空表示。这些特征通过变形偏移场显式映射到规范空间，无需基于MLP的运动建模。在规范空间中，我们用结构化的SH-based渲染头取代传统MLP解码器，通过注意力处理已学习的频率带合成视角相关颜色，提高了可解释性和渲染效率。为进一步提升保真度和时序一致性，我们引入由transformer引导的潜在扩散模块，在压缩潜在空间中细化三平面和变形特征。该生成模块在面对模糊或超出分布(OOD)运动时进行去噪，提高了泛化能力。本模型分为两个阶段训练：先独立预训练扩散模块，然后使用图像重建、扩散去噪和时序一致性损失联合微调整个管道。我们在合成基准测试中展示了最先进的成果，凭借视觉质量、时序连贯性和对稀疏视角动态输入的鲁棒性，超越了 HexPlane 和 4D 高斯溅写等近期方法。
引用
@article{arxiv.2505.16535,
title = {SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion},
author = {Asrar Alruwayqi},
journal= {arXiv preprint arXiv:2505.16535},
year = {2025}
}