GeneAvatar：基于单图的通用表情感体积头像编辑
计算机视觉与模式识别
2024-04-03 v1
摘要
最近，我们注意到各种体积表示在建模可动画头头像方面的 explosive 增长。然而，由于框架的多样性，目前尚无实用方法支持跨不同表示的高层次应用，如 3D 头像编辑。本文提出一种通用的头像编辑方法，可普遍应用于各种 3DMM 驱动的体积头像。为实现此目标，我们设计了一种新颖的表情感知修改生成模型，使其能够将 2D 编辑从单张图像提升到一致的 3D 修改场。为确保生成修改过程的有效性，我们开发了若干技术，包括基于表情的修改蒸馏方案以从大规模头像模型和 2D 人脸纹理编辑工具中汲取知识、隐式潜在空间引导以增强模型收敛，以及基于分割的损失重加权策略以实现纹理细粒度逆变。大量实验表明，我们的方法在多种表情和视角下均能提供高质量且一致的效果。项目页面：https://zju3dv.github.io/geneavatar/
引用
@article{arxiv.2404.02152,
title = {GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image},
author = {Chong Bao and Yinda Zhang and Yuan Li and Xiyu Zhang and Bangbang Yang and Hujun Bao and Marc Pollefeys and Guofeng Zhang and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2404.02152},
year = {2024}
}
备注
Accepted to CVPR 2024. Project page: https://zju3dv.github.io/geneavatar/