Virtual Pets：3D 场景中的可动画动物生成

为了释放生成模型在沉浸式 4D 体验中的潜力，我们推出了 Virtual Pet，这是一种新颖的流水线，旨在为 3D 环境中的目标动物物种建模出逼真且多样的运动。为了规避与环境的几何结构对齐的 3D 运动数据稀缺的问题，我们利用单目互联网视频，并提取前景的可变形 NeRF 表示和背景的静态 NeRF 表示。为此，我们开发了一种重建策略，涵盖物种级共享模板学习和每视频微调。利用重建后的数据，我们随后训练了一个条件 3D 运动模型，以在 3D 背景语境中学习前景动物的轨迹和关节运动。我们通过对猫视频进行全面的定性和定量评估，展示了该流水线的有效性。我们还证明了其在未见过的猫和室内环境中的通用性，能够产生时间连贯的 4D 输出，以丰富虚拟体验。