VividDream：生成具有环境动态的3D场景
计算机视觉与模式识别
2024-05-31 v1 图形学
摘要
我们介绍VividDream，一种从单张输入图像或文本提示生成具有环境动态的可探索4D场景的方法。VividDream首先通过迭代修补和几何合并将输入图像扩展为静态3D点云。然后，使用视频扩散模型结合质量细化技术，并以从采样相机轨迹渲染的静态3D场景为条件，生成一组动画视频。接着，我们使用动画视频集优化规范4D场景表示，采用每视频运动嵌入和可见性掩码来缓解不一致性。得到的4D场景能够实现具有合理环境场景动态的3D场景自由视角探索。实验表明，VividDream能够基于多样化的真实图像和文本提示为人类观众提供引人入胜的4D体验。
引用
@article{arxiv.2405.20334,
title = {VividDream: Generating 3D Scene with Ambient Dynamics},
author = {Yao-Chih Lee and Yi-Ting Chen and Andrew Wang and Ting-Hsuan Liao and Brandon Y. Feng and Jia-Bin Huang},
journal= {arXiv preprint arXiv:2405.20334},
year = {2024}
}
备注
Project page: https://vivid-dream-4d.github.io