槽位引导的体积对象辐射场

我们提出了一种用于三维以对象为中心的表示学习的新框架。我们的方法以无监督的方式从单张图像中有效地将复杂场景分解为单个对象。该方法被称为槽位引导的体积对象辐射场，它将体积对象辐射场与对象槽位相结合，以对象槽位作为引导来实现无监督的三维场景分解。具体而言，sVORF 通过 Transformer 模块从单张图像中获取对象槽位，利用超网络将这些槽位映射为体积对象辐射场，并在三维位置处以对象槽位为引导组合对象辐射场。此外，由于在训练期间进行小尺寸像素渲染，sVORF 显著降低了内存需求。我们通过在复杂合成数据集（例如 Room-Diverse）的场景分解和生成任务中取得顶尖结果，展示了我们方法的有效性。此外，我们还确认了 sVORF 在真实世界场景（例如 LLFF 数据集）中分割对象的潜力。我们希望我们的方法能为物理世界提供初步理解，并有助于未来三维以对象为中心的表示学习的研究。