LEAT：基于潜在集成攻击的面向真实场景鲁棒深度伪造干扰方法
计算机视觉与模式识别
2023-07-06 v1 人工智能
摘要
Deepfakes（深度伪造）是由生成模型创建的恶意视觉内容，对社会构成日益严重的威胁。为主动减轻深度伪造的危害，近期研究采用对抗扰动来干扰深度伪造模型的输出。然而，以往方法主要基于仅预先确定的目标属性生成失真输出，导致在目标属性未知的真实场景中存在鲁棒性不足的问题。此外，生成对抗网络（GAN）与扩散模型这两类主流生成模型之间扰动的迁移性尚待探索。本文强调目标属性迁移性与模型迁移性对于实现鲁棒深度伪造干扰的重要性。为应对该挑战，我们提出一种简单而有效的干扰方法——潜在集成攻击（Latent Ensemble ATtack, LEAT），其攻击独立的潜在编码过程。通过干扰潜在编码过程，在后续生成过程中无论给定何种目标属性都会生成失真输出图像。这种目标属性无关的攻击即使在目标属性未知时也能确保鲁棒干扰。此外，我们引入归一化梯度集成策略，有效聚合迭代梯度攻击的梯度，从而能够同时攻击包括基于GAN和基于扩散模型在内的各类深度伪造模型。再者，我们指出仅依据像素级差异评估干扰质量是不充分的。为此，我们提出一种替代协议，用于全面评估防御成功率。大量实验证实了我们的方法在真实场景中干扰深度伪造的有效性，相较于以往方法取得了更高的防御成功率。
引用
@article{arxiv.2307.01520,
title = {LEAT: Towards Robust Deepfake Disruption in Real-World Scenarios via Latent Ensemble Attack},
author = {Joonkyo Shim and Hyunsoo Yoon},
journal= {arXiv preprint arXiv:2307.01520},
year = {2023}
}