面向 3D 感知生成对抗网络的多视角反演
计算机视觉与模式识别
2023-12-12 v1
摘要
当前针对人头的 3D GAN 反演方法通常仅使用单张正面图像来重建整个 3D 头部模型。当有多视角数据或动态视频可用时，这忽略了有意义的信息。我们的方法建立在现有 SOTA 3D GAN 反演技术之上，允许对同一目标的多个视角进行一致且同步的反演。我们采用多潜变量扩展来处理动态人脸视频中存在的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了关于目标对象的额外信息，我们在几何精度和图像质量上都观察到显著提升，特别是在从宽视角渲染时。此外，我们展示了反演后 3D 渲染结果的可编辑性，这使其区别于基于 NeRF 的场景重建。
引用
@article{arxiv.2312.05330,
title = {Multi-view Inversion for 3D-aware Generative Adversarial Networks},
author = {Florian Barthel and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2312.05330},
year = {2023}
}