通过3DMM引导扩散实现多样化风格的人脸识别数据合成
计算机视觉与模式识别
2025-04-02 v1
摘要
身份保持人脸合成旨在生成能够替代真实世界数据以用于训练人脸识别模型的虚拟主体人脸图像。虽然先前的方法致力于创建具有一致身份和多样化风格的图像，但在两者之间存在权衡。本文识别了将风格变化视为与主体无关的局限性，并观察到现实人物实际上具有distinct、主体特定的风格。因此，本文引入了MorphFace——一种基于扩散模型的人脸生成器。该生成器从3D形状模型(3DMM)的渲染图中学习细粒度人脸风格（如形状、姿势和表情），并从无接近模型中学习身份。为创建虚拟人脸，生成器在未标记合成人脸的新身份以及从真实世界先验分布中抽样的新风格上进行条件化。抽样特别考虑了主体内变异和主体独特性。采用上下文混合策略以增强生成器对身份和风格条件的响应性。大量实验表明，MorphFace在人脸识别效能方面优于最先进的方法。
引用
@article{arxiv.2504.00430,
title = {Data Synthesis with Diverse Styles for Face Recognition via 3DMM-Guided Diffusion},
author = {Yuxi Mi and Zhizhou Zhong and Yuge Huang and Qiuyang Yuan and Xuan Zhao and Jianqing Xu and Shouhong Ding and ShaoMing Wang and Rizen Guo and Shuigeng Zhou},
journal= {arXiv preprint arXiv:2504.00430},
year = {2025}
}
备注
CVPR 2025