TriPlaneNet:一种用于 EG3D 反演的编码器
计算机视觉与模式识别
2023-10-27 v2 人工智能
摘要
近期基于 NeRF 的 GAN 进展引入了一系列方法,用于高分辨率、高保真度的人头生成建模并支持新视角渲染。同时,为重新渲染或修改现有图像或视频,必须解决一个反问题。尽管通用的基于优化的 2D GAN 反演方法取得成功,但应用于 3D GAN 时可能无法将结果外推至新视角,而基于优化的 3D GAN 反演方法耗时且每张图像至少需要数分钟。基于快速编码器的技术(如为 StyleGAN 所开发者)也可能因缺乏身份保持而不具吸引力。我们的工作引入了一种快速技术,通过直接利用为 EG3D 生成模型所提出的三平面表示,弥合了两类方法间的差距。具体而言,我们基于前馈卷积编码器构建潜码,并扩展以全卷积三平面数值偏移预测器。渲染质量与基于优化的技术相当,且优于基于编码器的方法。如我们所实证证明,这是直接在三平面空间而非 GAN 参数空间中操作、同时利用基于编码器的可训练方法的结果。最后,我们展示了对人脸图像在 3D 中显著更正确的嵌入,优于所有基线,并进一步由训练期间启用的可能对称先验所增强。
引用
@article{arxiv.2303.13497,
title = {TriPlaneNet: An Encoder for EG3D Inversion},
author = {Ananta R. Bhattarai and Matthias Nießner and Artem Sevastopolsky},
journal= {arXiv preprint arXiv:2303.13497},
year = {2023}
}
备注
Project page: https://anantarb.github.io/triplanenet