面向 4D 生成的正交空间-时间分布迁移

在 AIGC 时代，生成高质量 4D 内容已引起日益关注。然而，当前的 4D 合成研究严重受限于缺乏大规模 4D 数据集，导致模型无法充分学习实现高质量 4D 生成所必需的关键空间-时间特征，从而阻碍了该领域的进展。为此，我们提出了一种新型框架，从已有的 3D 扩散模型迁移丰富的空间先验，并从视频扩散模型中提取时间先验，以增强 4D 合成。我们开发了空间-时间解耦的 4D（STD-4D）扩散模型，通过解耦的空间和时间潜变量合成 4D 感知视频。为实现最佳特征迁移，我们设计了一种新型正交空间-时间分布迁移（Orster）机制，仔细建模并注入空间-时间特征分布。此外，在 4D 构建过程中，我们构思了一种空间-时间感知的 HexPlane（ST-HexPlane），以整合迁移后的空间-时间特征，从而提升 4D 变形和 4D 高斯特征建模。实验表明，我们的方法显著优于现有方法，实现了卓越的空间-时间一致性和更高质量的 4D 合成。