在未知姿态分布下学习三维感知图像合成

现有的三维感知图像合成方法在很大程度上依赖于在训练集上预先估计的三维姿态分布。不准确的估计可能误导模型学习到错误的几何结构。本工作提出PoF3D，将生成式辐射场从对三维姿态先验的需求中解放出来。我们首先为生成器配备一个高效的姿态学习器，能够从潜码推断姿态，自动逼近潜在的真实姿态分布。然后我们赋予判别器一项任务，在生成器的监督下学习姿态分布，并以预测姿态为条件区分真实与合成图像。无姿态生成器与姿态感知判别器以对抗方式联合训练。在多个数据集上的大量结果表明，我们的方法在图像质量和几何质量方面均达到最先进水平。据我们所知，PoF3D首次证明了无需使用三维姿态先验即可学习高质量三维感知图像合成的可行性。