Sync4D: 基于视频引导的物理驱动4D生成可控动力学

在这项工作中，我们引入了一种新颖的方法，利用随意拍摄的参考视频为3D生成的高斯体创建可控动力学。我们的方法将参考视频中物体的运动转移到跨不同类别的各种生成的3D高斯体上，确保了精确且可定制的运动迁移。我们通过采用基于混合蒙皮的非参数形状重建来提取参考物体的形状和运动，从而实现这一点。该过程涉及根据蒙皮权重将参考物体分割成与运动相关的部分，并建立与生成的目标形状之间的形状对应关系。为了解决现有方法中普遍存在的形状和时间不一致性问题，我们集成了物理模拟，用匹配的运动驱动目标形状。通过位移损失对这种集成进行优化，以确保可靠且真实的动力学。我们的方法支持多样化的参考输入，包括人类、四足动物和铰接物体，并且可以生成任意长度的动力学，提供了更高的保真度和适用性。与严重依赖扩散视频生成模型的方法不同，我们的技术提供了特定且高质量的运动迁移，同时保持了形状完整性和时间一致性。