基于扩散的黑盒人脸识别模型可控反演
计算机视觉与模式识别
2023-10-03 v2 图形学
机器学习
摘要
人脸识别模型将人脸图像嵌入低维身份向量，其中包含身份特定面部特征的抽象编码，用以区分不同个体。我们攻克了在无需完整模型访问（即黑盒设定）下反演预训练人脸识别模型潜空间的挑战性任务。文献中已有多种方法用于此任务，但存在严重缺陷，如缺乏逼真输出以及对数据集和人脸识别模型可访问性的强要求。通过分析黑盒反演问题，我们表明条件扩散模型损失自然显现，且即便没有身份特定损失也能从逆分布中有效采样。我们的方法名为身份去噪扩散概率模型（ID3PM），利用去噪扩散过程的随机性生成高质量、保持身份的人脸图像，具有多样背景、光照、姿态与表情。我们在身份保持与多样性上以定性和定量方式展示了最优性能，且本方法是首个提供对生成过程直观控制的黑盒人脸识别模型反演方法。
引用
@article{arxiv.2303.13006,
title = {Controllable Inversion of Black-Box Face Recognition Models via Diffusion},
author = {Manuel Kansy and Anton Raël and Graziana Mignone and Jacek Naruniec and Christopher Schroers and Markus Gross and Romann M. Weber},
journal= {arXiv preprint arXiv:2303.13006},
year = {2023}
}
备注
8 pages main paper + 23 pages supplementary material. Moderate revisions from v1 (different template, added user study, wording). Presented at AMFG workshop at ICCV 2023. Project page: https://studios.disneyresearch.com/2023/10/02/controllable-inversion-of-black-box-face-recognition-models-via-diffusion/