DPA-Net：基于可微基元装配的稀疏视图结构化 3D 抽象

我们提出了一个可微渲染框架，以从捕获 3D 物体的稀疏 RGB 图像中学习基元装配形式的结构化 3D 抽象。通过利用可微体渲染，我们的方法不需要 3D 监督。在架构上，我们的网络遵循以 pixelNeRF 为代表的图像条件神经辐射场 (NeRF) 的一般流程来进行颜色预测。作为我们的核心贡献，我们将可微基元装配 (DPA) 引入 NeRF，以输出 3D 占用场来代替密度预测，其中预测的占用值作为体渲染的不透明度值。我们命名为 DPA-Net 的网络生成一个凸体的并集（每个凸体为凸二次基元的交集），以近似目标 3D 物体，并受限于在体渲染后于图像空间中定义的抽象损失和掩码损失。通过测试时自适应以及旨在提高所得装配的准确性和紧凑性的额外采样与损失设计，我们的方法在从稀疏视图进行 3D 基元抽象方面展示出优于 SOTA 替代方案的性能。