基于生成式 NeRF 的三维感知图像混合

图像混合旨在将多张图像无缝结合。对于现有的基于 2D 的方法而言，这仍然具有挑战性，尤其是当输入图像由于 3D 相机位姿和物体形状的差异而未对齐时。为解决这些问题，我们提出了一种使用生成式神经辐射场（NeRF）的三维感知混合方法，包括两个关键组件：三维感知对齐和三维感知混合。对于三维感知对齐，我们首先估计参考图像相对于生成式 NeRF 的相机位姿，然后对每个部分执行 3D 局部对齐。为了进一步利用生成式 NeRF 的 3D 信息，我们提出三维感知混合，直接在 NeRF 的潜在表示空间而非原始像素空间上混合图像。总体而言，我们的方法优于现有的 2D 基线，这通过 FFHQ 和 AFHQ-Cat 上的大量定量与定性评估得到了验证。