Phy124：从单张图像快速生成物理驱动的4D内容
计算机视觉与模式识别
2024-09-12 v1
摘要
4D内容生成旨在创建随时间变化的动态3D对象。现有方法主要依赖预训练的视频扩散模型，利用采样过程或参考视频。然而，这些方法面临显著挑战。首先，生成的4D内容常常不符合现实物理，因为视频扩散模型不包含物理先验。其次，扩散模型中大量参数和广泛的采样过程导致生成过程异常耗时。为此，我们引入Phy124，这是一种新型、快速且物理驱动的方法，用于从单张图像生成可控的4D内容。Phy124将物理仿真直接集成到4D生成过程中，确保生成的4D内容遵循自然物理法则。Phy124还在4D动态生成阶段消除了扩散模型的使用，显著加快了生成速度。Phy124允许通过操控外部力来控制4D动态，包括运动速度和方向。广泛的实验表明，Phy124生成高保真度的4D内容，推理时间显著减少，实现了最先进的性能。代码和生成的4D内容已提供链接：https://anonymous.4open.science/r/BBF2/。
引用
@article{arxiv.2409.07179,
title = {Phy124: Fast Physics-Driven 4D Content Generation from a Single Image},
author = {Jiajing Lin and Zhenzhong Wang and Yongjie Hou and Yuzhou Tang and Min Jiang},
journal= {arXiv preprint arXiv:2409.07179},
year = {2024}
}