One2Avatar：面向少样本用户自适应的生成式隐式头部化身
计算机视觉与模式识别
2024-02-20 v1
摘要
传统的从单目视频构建高质量个性化头部化身的方法需要大量的面部捕捉和训练时间，这对可扩展性构成了重大挑战。本文介绍了一种新方法，仅需每个用户的一张或少数几张图像即可创建高质量的头部化身。我们从包含 2407 名受试者表情多视角数据集的 3D 可动画照片级真实感头部化身中学习了一个生成模型，并将其作为先验，用于从少样本图像创建个性化化身。与之前的 3D 感知面部生成模型不同，我们的先验建立在以 3DMM 为锚点的神经辐射场（NeRF）骨干网络上，我们证明该方法在基于少样本输入的自动解码进行化身创建方面更为有效。我们还通过联合优化 3DMM 拟合和相机标定来处理不稳定的 3DMM 拟合问题，从而实现了更好的少样本自适应。我们的方法展示了令人信服的结果，并在少样本化身自适应方面优于现有的最先进方法，为更高效和个性化的化身创建铺平了道路。
引用
@article{arxiv.2402.11909,
title = {One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation},
author = {Zhixuan Yu and Ziqian Bai and Abhimitra Meka and Feitong Tan and Qiangeng Xu and Rohit Pandey and Sean Fanello and Hyun Soo Park and Yinda Zhang},
journal= {arXiv preprint arXiv:2402.11909},
year = {2024}
}