GenEAva：从基于扩散的真实人脸生成具有细粒度面部表情的卡通形象
计算机视觉与模式识别
2025-04-11 v1 人工智能
摘要
卡通形象已广泛应用于各种场景，包括社交媒体、在线辅导和游戏。然而，现有的卡通形象数据集和生成方法难以呈现具有细粒度面部表情且极具表现力的形象，且往往受真实身份启发，引发隐私担忧。为了应对这些挑战，我们提出了一种新颖的框架 GenEAva，用于生成具有细粒度面部表情的高质量卡通形象。我们的方法对 SOTA 文本到图像扩散模型进行微调，以合成高度细致且富有表现力的面部表情。随后，我们引入风格化模型，将这些真实人脸转换为卡通形象，同时保持身份和表情。借助该框架，我们引入了首个富有表现力的卡通形象数据集 GenEAva 1.0，专门设计用于捕捉 135 种细粒度面部表情，包含 13,230 个富有表现力的卡通形象，在性别、种族和年龄范围上分布均衡。我们证明，我们微调后的模型比 SOTA 文本到图像扩散模型 SDXL 能生成更具表现力的人脸。我们还验证了我们的框架生成的卡通形象不包含微调数据中记忆的身份。所提出的框架和数据集为未来卡通形象生成研究提供了多样且富有表现力的基准。
引用
@article{arxiv.2504.07945,
title = {GenEAva: Generating Cartoon Avatars with Fine-Grained Facial Expressions from Realistic Diffusion-based Faces},
author = {Hao Yu and Rupayan Mallick and Margrit Betke and Sarah Adel Bargal},
journal= {arXiv preprint arXiv:2504.07945},
year = {2025}
}