DiffusionRig：面向人脸外观编辑的个性化先验学习
计算机视觉与模式识别
2023-04-14 v1 图形学
摘要
我们致力于从同一人的少量（如20张）肖像照片中学习特定人物的面部先验。这使得我们能够编辑该特定人物的面部外观（如表情与光照），同时保留其身份与高频面部细节。我们方法的关键在于一个以粗略3D人脸模型为条件或由其实行“绑定（rigged）”的扩散模型，这些模型由现成估计器从单张无约束图像中估算得到，我们称之为DiffusionRig。在高层上，DiffusionRig学习将3D人脸模型的简单渲染映射到给定人物的真实照片。具体而言，DiffusionRig分两阶段训练：首先从大规模人脸数据集学习通用面部先验，然后从目标人物的少量肖像照片集合学习特定人物先验。通过学习带有此类个性化先验的CGI到照片映射，DiffusionRig可在仅以粗粒度3D模型为条件的同时“绑定”肖像照片的光照、面部表情、头部姿态等，并保留该人物的身份与其他高频特征。定性与定量实验表明，DiffusionRig在身份保持与真实感方面均优于现有方法。请见项目网站：https://diffusionrig.github.io 获取补充材料、视频、代码与数据。
引用
@article{arxiv.2304.06711,
title = {DiffusionRig: Learning Personalized Priors for Facial Appearance Editing},
author = {Zheng Ding and Xuaner Zhang and Zhihao Xia and Lars Jebe and Zhuowen Tu and Xiuming Zhang},
journal= {arXiv preprint arXiv:2304.06711},
year = {2023}
}
备注
CVPR 2023. Project website: https://diffusionrig.github.io