SC4D：稀疏控制的视频到4D生成与运动迁移
计算机视觉与模式识别
2024-08-15 v2
摘要
近期2D/3D生成模型的进展使得从单视角视频生成动态3D对象成为可能。现有方法利用分数蒸馏采样将动态场景构建为动态NeRF或密集3D高斯体。然而，由于NeRF的隐式性质或复杂的密集高斯运动预测，这些方法难以在单视角条件下平衡参考视图对齐、时空一致性和运动保真度。为解决这些问题，本文提出一种高效的稀疏控制视频到4D框架，名为SC4D，该框架解耦运动与外观以实现更优的视频到4D生成。此外，我们引入自适应高斯初始化和高斯对齐损失以缓解形状退化问题，确保学习到的运动与形状的保真度。综合实验结果表明，我们的方法在质量和效率上均超越现有方法。同时，借助SC4D对运动与外观的解耦建模，我们设计了一种新颖应用，可根据文本描述将学习到的运动无缝迁移到多种4D实体上。
引用
@article{arxiv.2404.03736,
title = {SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer},
author = {Zijie Wu and Chaohui Yu and Yanqin Jiang and Chenjie Cao and Fan Wang and Xiang Bai},
journal= {arXiv preprint arXiv:2404.03736},
year = {2024}
}
备注
Accepted by ECCV2024! Project Page: https://sc4d.github.io/ Code is available at: https://github.com/JarrentWu1031/SC4D