3D 面部化妆估计的化妆先验模型及其应用
计算机视觉与模式识别
2024-03-27 v1 图形学
摘要
本文引入两种类型的化妆先验模型，以扩展现有的 3D 面部先验模型：基于 PCA 的模型和基于 StyleGAN2 的模型。基于 PCA 的模型是一种线性模型，易于构建且计算效率高。然而，它仅保留低频信息。相反，基于 StyleGAN2 的模型能够表示高频信息，但计算成本相对较高。尽管两种模型之间存在权衡，但两者都适用于 3D 面部化妆估计及相关应用。通过利用化妆先验模型并设计化妆一致性模块，我们有效解决了以往方法在稳健估计化妆方面所面临的挑战，尤其是在处理自遮挡面部情境时。在实验中，我们展示了该方法将计算成本降低了几个数量级，实现速度提升了最高可达 180 倍。此外，通过提高估计化妆的准确性，我们确认我们的方法在各种 3D 面部化妆应用中具有显著优势，包括 3D 化妆面部重建、用户友好型化妆编辑、化妆迁移和插值。
引用
@article{arxiv.2403.17761,
title = {Makeup Prior Models for 3D Facial Makeup Estimation and Applications},
author = {Xingchao Yang and Takafumi Taketomi and Yuki Endo and Yoshihiro Kanamori},
journal= {arXiv preprint arXiv:2403.17761},
year = {2024}
}
备注
CVPR2024. Project: https://yangxingchao.github.io/makeup-priors-page