CLIP4Sketch：利用扩散模型进行数据集增强以提升素描到证件照匹配
计算机视觉与模式识别
2024-11-18 v2
摘要
法医素描到证件照匹配是人脸识别中的一项具有挑战性的任务，主要受到注释法医素描稀缺以及素描与照片之间模态差距的制约。为解决这一问题，我们提出了CLIP4Sketch，一种利用扩散模型生成大量多样化素描图像的新方法，有助于提升人脸识别系统在素描到证件照匹配中的性能。我们的方法利用去噪扩散概率模型（DDPM）生成具有身份和风格显式控制的素描。我们将参考证件照的CLIP和Adaface嵌入与风格文本描述相结合，作为扩散模型的条件。我们通过生成与证件照对应的全面素描数据集并在合成数据上训练人脸识别模型，证明了方法的有效性。结果表明，与在现有有限真实人脸素描数据上训练相比，素描到证件照匹配准确率显著提升，验证了扩散模型在跨模态增强人脸识别系统性能方面的潜力。我们还将我们的数据集与基于GAN方法生成的数据集进行了比较，以展示其优越性。
引用
@article{arxiv.2408.01233,
title = {CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models},
author = {Kushal Kumar Jain and Steve Grosz and Anoop M. Namboodiri and Anil K. Jain},
journal= {arXiv preprint arXiv:2408.01233},
year = {2024}
}