MagicMirror：基于受限搜索空间的快速高质量化身生成
计算机视觉与模式识别
2024-04-02 v1
摘要
我们引入了一个新颖的3D人类化身生成与个性化框架，利用文本提示来增强用户参与度和定制化。我们方法的核心在于旨在克服照片级真实化身合成挑战的关键创新。首先，我们利用一个在大规模未标注多视图数据集上训练的条件神经辐射场（NeRF）模型，创建一个通用的初始解空间，从而加速并多样化化身生成。其次，我们开发了一个几何先验，利用文本到图像扩散模型的能力，确保优越的视角不变性，并能够直接优化化身几何。这些基础思想由我们基于变分分数蒸馏（VSD）构建的优化管线补充，该管线缓解了纹理丢失和过饱和问题。正如我们大量实验所支持的，这些策略共同实现了具有无与伦比视觉质量且更符合输入文本提示的定制化身。更多结果和视频请访问我们的网站：https://syntec-research.github.io/MagicMirror
引用
@article{arxiv.2404.01296,
title = {MagicMirror: Fast and High-Quality Avatar Generation with a Constrained Search Space},
author = {Armand Comas-Massagué and Di Qiu and Menglei Chai and Marcel Bühler and Amit Raj and Ruiqi Gao and Qiangeng Xu and Mark Matthews and Paulo Gotardo and Octavia Camps and Sergio Orts-Escolano and Thabo Beeler},
journal= {arXiv preprint arXiv:2404.01296},
year = {2024}
}