InvertAvatar：用于通用头部虚拟人的增量式 GAN 反演
计算机视觉与模式识别
2024-05-28 v3
摘要
虽然高保真度和效率是创建数字头部虚拟人的核心，但最近依赖 2D 或 3D 生成模型的方法经常遇到诸如形状扭曲、表情不准确和身份闪烁等限制。此外，现有的单样本反演技术未能充分利用多张输入图像进行详细特征提取。我们提出了一个新颖的框架，即增量式 3D GAN 反演，它使用一种旨在从多帧中提高保真度的算法来增强虚拟人重建性能，从而获得与帧数成正比的重建质量提升。我们的方法引入了一个独特的可动画 3D GAN 先验，并进行了两项关键修改以增强表情可控性，同时引入了一种创新的神经纹理编码器，该编码器基于 UV 参数化对纹理特征空间进行分类。与传统技术不同，我们的架构强调像素对齐的图像到图像转换，减轻了学习观察空间和规范空间之间对应关系的需要。此外，我们结合了基于 ConvGRU 的循环网络，用于从多帧中聚合时间数据，提升了几何和纹理细节的重建。所提出的范式在单样本和少样本虚拟人动画任务上展示了最先进的性能。代码将在 https://github.com/XChenZ/invertAvatar 上提供。
引用
@article{arxiv.2312.02222,
title = {InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars},
author = {Xiaochen Zhao and Jingxiang Sun and Lizhen Wang and Jinli Suo and Yebin Liu},
journal= {arXiv preprint arXiv:2312.02222},
year = {2024}
}