CLIP2Protect：通过对抗潜空间搜索与文本引导妆容保护面部隐私
计算机视觉与模式识别
2023-06-21 v2 密码学与安全
机器学习
摘要
基于深度学习的面部识别系统的成功引发了严重的隐私担忧，因其能够在数字世界中实现对用户的未经授权追踪。现有的隐私增强方法无法生成在不损害用户体验的前提下保护面部隐私的自然逼真图像。我们提出一种新颖的两步面部隐私保护方法，其依赖于在预训练生成模型的低维流形中寻找对抗潜码。第一步将给定人脸图像反演至潜空间，并微调生成模型以从其潜码实现对给定图像的精确重建。该步骤产生良好初始化，有助于生成与给定身份相似的高质量人脸。随后，使用用户定义的妆容文本提示与保身份正则化来引导潜空间中对抗码的搜索。大量实验表明，在人脸验证任务下，我们的方法生成的人脸具有更强的黑盒可迁移性，相较 SOTA 面部隐私保护方法的绝对增益达 12.06%。最后，我们展示了所提方法在商业人脸识别系统中的有效性。我们的代码可在 https://github.com/fahadshamshad/Clip2Protect 获取。
引用
@article{arxiv.2306.10008,
title = {CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search},
author = {Fahad Shamshad and Muzammal Naseer and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2306.10008},
year = {2023}
}
备注
Accepted in CVPR 2023. Project page: https://fahadshamshad.github.io/Clip2Protect/