Joker: 具有极端表情的条件式三维头部合成
计算机视觉与模式识别
2024-10-23 v1 图形学
摘要
我们介绍了Joker，一种用于条件式合成具有极端表情的三维人类头部的新方法。给定一个人的单张参考图像，我们合成一个具有参考身份和新表情的体积化人类头部。我们通过三维可变形模型（3DMM）和文本输入来提供对表情的控制。这种多模态条件信号至关重要，因为仅靠3DMM无法定义细微的情绪变化和极端表情，包括涉及口腔和舌头活动的表情。我们的方法建立在二维扩散先验之上，该先验能够很好地泛化到域外样本，如雕塑、浓妆和绘画，同时实现高水平的表达能力。为了提高视角一致性，我们提出了一种新的三维蒸馏技术，将二维先验的预测转换为神经辐射场（NeRF）。二维先验和我们的蒸馏技术都产生了最先进的结果，这得到了我们广泛评估的证实。此外，据我们所知，我们的方法是第一个实现视角一致的极端舌头活动的方法。
引用
@article{arxiv.2410.16395,
title = {Joker: Conditional 3D Head Synthesis with Extreme Facial Expressions},
author = {Malte Prinzler and Egor Zakharov and Vanessa Sklyarova and Berna Kabadayi and Justus Thies},
journal= {arXiv preprint arXiv:2410.16395},
year = {2024}
}
备注
Project Page: https://malteprinzler.github.io/projects/joker/