通过数据增强提升 DreamBooth 和 InstantID 人脸相似度的合成数据生成
计算机视觉与模式识别
2025-07-18 v2 人工智能
摘要
为专业肖像生成从业业余照片中提取人脸相似度面临挑战。本文评估了数据增强策略对两种人格化方法：DreamBooth 和 InstantID 的影响。我们比较经典增强（翻转、裁剪、颜色调整）与使用 InstantID 生成的合成图像进行增强，以丰富训练数据。基于 SDXL 和全新的 FaceDistance 指标（基于 FaceNet）对人脸相似度进行量化评估。结果表明，经典增强可能导致人脸识别损伤，影响身份保留；而 InstantID 在与真实图像平衡后可提升保真度。97 名参与者的用户研究确认其高光照逼真度，并偏好 InstantID 的精致外观相对于 DreamBooth 的身份准确性。我们的发现为针对定制文本到图像生成制定有效的数据增强策略提供了指导。
关键词
引用
@article{arxiv.2505.03557,
title = {Generating Synthetic Data via Augmentations for Improved Facial Resemblance in DreamBooth and InstantID},
author = {Koray Ulusan and Benjamin Kiefer},
journal= {arXiv preprint arXiv:2505.03557},
year = {2025}
}
备注
Accepted to CVPR 2025 Workshop "Synthetic Data for Computer Vision Workshop", https://syndata4cv.github.io/ Revised version