Free3D：无需三维表征的一致性新视角合成

我们提出了 Free3D，一种用于单目开放集新视角合成（NVS）的简单而精确的方法。与 Zero-1-to-3 类似，我们从预训练的二维图像生成器出发以实现泛化，并针对 NVS 对其进行微调。相较于采用类似方法的其他工作，我们在不依赖显式三维表征（该方法速度慢且内存消耗大）且无需训练额外三维重建网络的情况下，取得了显著改进。我们的核心贡献在于改进了目标相机位姿在网络中的编码方式，具体通过引入一种新的射线条件归一化（RCN）层来实现。该层通过告知每个像素其观察方向，将位姿信息注入底层的二维图像生成器中。我们进一步通过使用轻量级多视图注意力层以及在不同视图间共享生成噪声来提升多视图一致性。我们在 Objaverse 数据集上训练 Free3D，并在包括 OmniObject3D 和 GSO 在内的新数据集上展示了对新类别的出色泛化能力。项目页面见 https://chuanxiaz.com/free3d/。