基于风格迁移的高质量人脸漫画生成

漫画是一种夸张的艺术肖像形式，突显人脸独特而微妙的特征。近来，深度端到端技术的进展在捕捉人脸漫画创作中的风格与夸张变形方面取得了令人鼓舞的成果。这类方法多数倾向于产生卡通式结果，对真实世界应用而言实用性有限。在本研究中，我们提出了一种适用于真实世界、利用计算机视觉技术与 GAN 模型的高质量非配对人脸漫画方法。我们通过两步流程实现面部特征的夸张与外观的风格化：人脸漫画生成与人脸漫画投影。人脸漫画生成步骤从真实图像创建新漫画人脸数据集，并利用真实与新创建的漫画数据集训练生成模型。人脸漫画投影采用以真实与漫画人脸及预训练生成器训练的编码器，来投影真实与漫画人脸。我们利用编码器与生成器的潜空间，从真实图像到漫画人脸进行渐进式面部夸张。我们的投影保留了输入图像的面部身份、属性与表情。同时，它考虑了面部遮挡（如阅读眼镜或太阳镜）以增强模型的鲁棒性。此外，我们将本方法与多种最先进（SOTA）人脸漫画方法进行了全面比较，凸显了我们流程的独特性与卓越真实感。