PhysDreamer：基于视频生成的 3D 物体物理交互

逼真的物体交互对于创造沉浸式虚拟体验至关重要，然而合成响应新颖交互的逼真 3D 物体动力学仍然是一个重大挑战。与无条件或文本条件动力学生成不同，动作条件动力学需要感知物体的物理材料属性，并基于这些属性（如物体刚度）来确立 3D 运动预测。然而，由于缺乏材料真实数据，且测量真实物体的这些属性极其困难，估计物理材料属性是一个开放问题。我们提出了 PhysDreamer，一种基于物理的方法，通过利用视频生成模型学习到的物体动力学先验，赋予静态 3D 物体交互式动力学。通过蒸馏这些先验，PhysDreamer 能够合成物体对新颖交互（如外力或智能体操作）的逼真响应。我们在多种弹性物体示例上展示了该方法，并通过用户研究评估了合成交互的逼真度。PhysDreamer 使静态 3D 物体能够以物理合理的方式动态响应交互刺激，朝着更具吸引力和逼真的虚拟体验迈出了一步。参见我们的项目页面 https://physdreamer.github.io/。