面向提示鲁棒人脸隐私保护的对抗解耦增强框架

去噪扩散模型已在多种生成任务中展现出显著潜力。开源大规模文本到图像模型 Stable Diffusion 因可通过在少量新样本上微调实现个性化生成逼真艺术或人脸图像而广为流行。然而，这也引发了隐私担忧：攻击者可在网上获取人脸图像并微调文本到图像模型进行恶意编辑，导致无端丑闻、诽谤并扰乱受害者生活。已有研究致力于通过常规训练过程导出对抗损失，以对抗扰动实现人脸隐私保护。但现有算法面临两方面问题：1）忽视了图像-文本融合模块——该模块是文本到图像扩散模型的关键模块；2）其防御性能针对不同攻击者提示时不稳定。本文提出对抗解耦增强框架（ADAF），通过针对图像-文本融合模块解决上述问题，提升人脸隐私保护算法的防御性能。ADAF 引入多级文本相关增强以实现针对不同攻击者提示的防御稳定性。具体而言，考虑视觉、文本与公共单元空间，我们提出视觉对抗损失、提示鲁棒增强与注意力解耦损失。在 CelebA-HQ 与 VGGFace2 上的大量实验表明 ADAF 性能优越，超越现有算法。