可泛化的一次性神经头部化身
计算机视觉与模式识别
2023-06-16 v1
摘要
我们提出一种从单视角肖像图像重建并驱动 3D 头部化身的方法。现有方法要么需要针对特定人物用多张图像进行耗时的优化，要么难以合成面部区域之外的精细外观细节。为克服这些局限，我们提出一种框架，其不仅基于单视角图像泛化到未见身份且无需人物特定优化，还能捕捉面部内外（如发型、配饰等）的特征细节。我们方法的核心是三个分支，生成代表粗 3D 几何、源图像精细外观以及目标图像表情的三个三平面。通过对三个三平面组合施加体渲染再接超分辨率模块，我们的方法生成所需身份、表情与姿态的高保真图像。一旦训练完成，我们的模型通过一次网络前向传播即可高效实现 3D 头部化身重建与驱动。实验表明，所提方法对未见验证数据集泛化良好，在头部化身重建与驱动上大幅超越 SOTA 基线方法。
引用
@article{arxiv.2306.08768,
title = {Generalizable One-shot Neural Head Avatar},
author = {Xueting Li and Shalini De Mello and Sifei Liu and Koki Nagano and Umar Iqbal and Jan Kautz},
journal= {arXiv preprint arXiv:2306.08768},
year = {2023}
}