用于属性条件三维感知人脸生成的生成式神经辐射场训练与微调
计算机视觉与模式识别
2024-09-04 v3 图形学
摘要
基于生成式神经辐射场（GNeRF）的三维感知 GAN 在生成高保真图像并保持强三维一致性的方面展现了卓越能力，尤其是人脸生成。然而，现有特定模型在生成过程中优先保证视图一致性而非解耦，导致语义或属性控制受限。尽管许多方法已探索引入语义掩码或利用三维可变形模型（3DMM）先验来赋予模型语义控制，这些方法往往需要从头训练，带来巨大计算开销。本文提出一种新方法：一种将特定属性标签作为输入的条件式 GNeRF 模型，从而增强三维感知生成模型的可控性与解耦能力。我们的方法基于预训练的三维感知人脸模型，并引入“以训练为初始化、以优化作微调”（TRIOT）方法来训练条件归一化流模块以实现面部属性编辑，进而优化潜向量以进一步提升属性编辑精度。大量实验证实了模型的有效性，展示了其在保护非目标区域的同时生成具有增强视图一致性的高质量编辑的能力。我们的模型代码公开于 https://github.com/zhangqianhui/TT-GNeRF。
引用
@article{arxiv.2208.12550,
title = {Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation},
author = {Jichao Zhang and Aliaksandr Siarohin and Yahui Liu and Hao Tang and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2208.12550},
year = {2024}
}
备注
14 pages