GenN2N：生成式 NeRF2NeRF 转换
计算机视觉与模式识别
2024-04-04 v1
摘要
我们提出了 GenN2N，一个用于各种 NeRF 转换任务（如文本驱动 NeRF 编辑、上色、超分辨率、修复等）的统一 NeRF-to-NeRF 转换框架。与以前针对具有特定任务方案的单独转换任务设计的方法不同，GenN2N 通过采用即插即用的图像到图像转换器在 2D 域中执行编辑并将 2D 编辑提升到 3D NeRF 空间，从而实现所有这些 NeRF 编辑任务。由于无法保证 2D 编辑的 3D 一致性，我们提出通过一个能够覆盖所有可能编辑后的 NeRF 的生成模型来建模底层 3D 编辑的分布。为了从 2D 编辑图像建模 3D 编辑 NeRF 的分布，我们精心设计了一个在编码图像的同时解码 NeRF 的 VAE-GAN。潜空间被训练为与高斯分布对齐，并且 NeRF 通过对其渲染结果的对抗损失进行监督。为了确保潜码不依赖于 2D 视点而是真正反映 3D 编辑，我们还通过对比学习方案对潜码进行正则化。在各种编辑任务上的大量实验表明，GenN2N 作为一个通用框架，表现与特定任务的专家模型一样好甚至更好，同时具备灵活的生成能力。更多结果请见我们的项目页面：https://xiangyueliu.github.io/GenN2N/
引用
@article{arxiv.2404.02788,
title = {GenN2N: Generative NeRF2NeRF Translation},
author = {Xiangyue Liu and Han Xue and Kunming Luo and Ping Tan and Li Yi},
journal= {arXiv preprint arXiv:2404.02788},
year = {2024}
}
备注
Accepted to CVPR 2024. Project page: https://xiangyueliu.github.io/GenN2N/