In-N-Out：基于体素分解的保真 3D GAN 反演用于人脸编辑
计算机视觉与模式识别
2024-04-16 v4
摘要
3D 感知 GAN 在保留其 2D 对应模型编辑功能的同时，为视角合成提供了新能力。GAN 反演是一个关键步骤，它寻找潜码以重建输入图像或视频，随后通过对该潜码的操控实现多样的编辑任务。然而，在特定数据集（如 FFHQ）上预训练的模型通常难以重建具有分布外（OOD）对象的图像，例如浓妆或带遮挡物的人脸。我们通过显式建模 3D 感知 GAN 中输入的 OOD 对象来解决此问题。我们的核心思想是用两个独立的神经辐射场表示图像：一个用于分布内内容，另一个用于分布外对象。最终重建通过优化这两个辐射场的组合并配合精心设计的正则化实现。我们展示了显式分解缓解了重建保真度与可编辑性之间的固有权衡。我们在具有挑战性的真实人脸图像和视频上评估了方法的重建精度与可编辑性，并展示了优于其他基线的结果。
引用
@article{arxiv.2302.04871,
title = {In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing},
author = {Yiran Xu and Zhixin Shu and Cameron Smith and Seoung Wug Oh and Jia-Bin Huang},
journal= {arXiv preprint arXiv:2302.04871},
year = {2024}
}
备注
Project page: https://in-n-out-3d.github.io/