3DPhysVideo：基于3D场景重建和物理仿真的一致性引导流SDE用于视频生成

视频生成模型取得了显著进展，但常常产生违反物理动力学 grounding 的视觉瑕疵。近期工作如PhysGen3D通过网格重建和基于物理的渲染解决单图到3D物理问题，但在建模流体动力学、多物体相互作用和光照保真性方面仍面临挑战。本工作引入3DPhysVideo，一个新颖的无训练管道，从单张图像生成物理上真实的视频。我们将其 repurposed 为两个阶段。首先，我们将其用作新视角合成器，通过引导图像到视频（I2V）流模型对渲染点云进行指导，重建完整的360度3D场景几何。其次，在对该几何应用物理求解器后，物理仿真点云用于引导相同的I2V流模型合成最终的高质量视频。一致性引导流SDE将I2V流模型预测的速度分解为去噪和一致性偏置，以实现对条件输入的一致性，从而有效地将模型用于3D重建和仿真引导的视频生成。在包括多物体和流体相互作用场景的多样化实验中，我们的方法成功地桥接了从单图到物理上合理视频的差距，同时在单个消费级GPU上运行效率较高。在GPT评分、VideoPhy基准和人类评估方面，它超过了最先进的基线方法。