从单视图出发探索永恒动态场景

从单视图生成永恒动态场景是具有广泛应用的重要问题，适用于增强现实、虚拟现实和机器人领域。然而，由于动态场景会随时间不断变化，一个关键挑战是确保不同生成视图与底层3D运动一致。先前的工作通过在多个视图上训练来学习这种一致性，但生成的场景区域常在训练视图之间进行插值，难以生成永恒视图。为此，我们提出DynamicVoyager，将动态场景生成重新表述为具有新动态内容的场景外描绘问题。由于2D外描绘模型在从单个2D视图生成3D一致运动方面存在困难，我们通过为2D像素添加来自其3D射线的信息来促进3D运动一致性的学习。更具体地说，我们首先将单视图视频输入映射到动态点云，使用估计的视频深度。随后，我们从新视角渲染部分视频点云，并使用射线信息（例如射线到点云的距离）对缺失区域进行外描绘，以生成3D一致的运动。接着，我们使用外描绘的视频更新点云，用于外描绘未来新视角的场景。此外，我们可以使用输入文本提示控制生成内容。实验表明， our model 能够沿着飞行相机路径生成具有一致运动的永恒场景。项目页面: https://tianfr.github.io/DynamicVoyager。