基于双编码器的GAN逆变用于单图高保真3D头部重建
计算机视觉与模式识别
2024-10-01 v1 计算几何
图形学
机器学习
图像与视频处理
摘要
3D GAN 逆变旨在将单张图像投影到3D生成对抗网络(GAN)的潜在空间，从而实现3D几何重建。虽然存在一些在3D GAN 逆变中取得好结果的编码器，但它们主要基于EG3D构建，专注于合成近正面视角，限制了其在来自多样化视角的综合3D场景方面的能力。与现有方法不同，本文提出了一个基于PanoHead的新框架，后者在360度视角合成图像方面表现突出。为实现输入图像的逼真3D建模，我们引入了针对高保真重建和来自不同视角的逼真生成而设计的双编码器系统。伴随此，我们提出了在triplane域上进行的拼接框架，以获取来自两个编码器的最佳预测。为实现无缝拼接，两个编码器必须尽管为不同任务而专门化，仍能输出一致的结果。为此，我们仔细训练这些编码器，使用包括基于我们新颖遮挡感知triplane判别器的对抗损失等专门的损失。实验表明，我们的方法在定性和定量上均优于现有的编码器训练方法。请访问项目页面：https://berkegokmen1.github.io/dual-enc-3d-gan-inv。
引用
@article{arxiv.2409.20530,
title = {Dual Encoder GAN Inversion for High-Fidelity 3D Head Reconstruction from Single Images},
author = {Bahri Batuhan Bilecen and Ahmet Berke Gokmen and Aysegul Dundar},
journal= {arXiv preprint arXiv:2409.20530},
year = {2024}
}
备注
Joint first two authors. Accepted to NeurIPS 2024