中文

Gaussian Deja-vu:创建具有增强泛化与个性化能力的可控 3D 高斯头部虚拟人

计算机视觉与模式识别 2024-11-07 v3

摘要

3D 高斯溅射(3DGS)的最新进展释放了 3D 头部虚拟人建模的巨大潜力,与基于网格的方法相比提供了更大的灵活性,与基于 NeRF 的方法相比具有更高效的渲染。尽管取得了这些进展,创建可控的基于 3DGS 的头部虚拟人仍然非常耗时,通常需要几十分钟到几个小时。为了加速这一过程,我们在此引入“Gaussian Deja-vu”框架,该框架首先获得头部虚拟人的泛化模型,然后对结果进行个性化。该泛化模型在大型 2D(合成和真实)图像数据集上进行训练。该模型提供了一个初始化良好的 3D 高斯头部,随后使用单目视频对其进行细化以实现个性化的头部虚拟人。为了进行个性化,我们提出了可学习的表情感知校正混合图来校正初始 3D 高斯,确保在不依赖神经网络的情况下快速收敛。实验表明,所提出的方法达到了其预期目标。它在照片级真实感质量方面优于最先进的 3D 高斯头部虚拟人,并将训练时间消耗减少至现有方法的至少四分之一,在几分钟内生成虚拟人。

关键词

引用

@article{arxiv.2409.16147,
  title  = {Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities},
  author = {Peizhi Yan and Rabab Ward and Qiang Tang and Shan Du},
  journal= {arXiv preprint arXiv:2409.16147},
  year   = {2024}
}

备注

11 pages, Accepted by WACV 2025 in Round 1