无监督的以对象为中心的 3D 视频生成与分解

视频生成建模的一种自然方法是将视频表示为移动对象的组合。近期工作对缓慢变化背景上的一组 2D 精灵进行建模，但未考虑生成它们的底层 3D 场景。我们转而提出将视频建模为在包含多个 3D 对象和 3D 背景的场景中移动时所看到的视图。我们的模型从单目视频中训练且无需任何监督，却能学会生成包含若干移动对象的连贯 3D 场景。我们在两个数据集上进行了详细实验，其视觉复杂度超越了最先进生成方法所支持的范围。我们在深度预测和 3D 对象检测——这些早期工作无法处理的任务——上评估了我们的方法，并展示其甚至在 2D 实例分割和跟踪上也优于它们。