知识引导的对抗防御：抵抗恶意视觉操纵
计算机视觉与模式识别
2025-05-29 v2 人工智能
摘要
视觉操纵的恶意应用在许多领域对用户的安全和声誉构成了严重威胁。为了缓解这些问题，近年来人们热衷于研究基于对抗噪声的防御方法。然而，“仅数据”方法倾向于在低级特征空间而非高级语义空间扭曲伪造样本，导致在抵抗恶意操纵方面存在局限性。前沿研究表明，将知识融入深度学习可以产生可靠且可泛化的解决方案。受此启发，我们提出了一种知识引导的对抗防御（KGAD），主动迫使恶意操纵模型输出语义混淆的样本。具体来说，在生成对抗噪声的过程中，我们专注于在领域特定知识层面构建显著的语义混淆，并利用与视觉感知密切相关的度量来替代通用的逐像素度量。生成的对抗噪声通过触发伪造样本中的知识引导和感知相关干扰，主动干扰恶意操纵模型。为了验证所提方法的有效性，我们在人类感知和视觉质量评估上进行了定性和定量实验。在两个不同任务上的结果表明，与最先进方法相比，我们的防御提供了更好的保护，并实现了良好的泛化能力。
引用
@article{arxiv.2504.08411,
title = {A Knowledge-guided Adversarial Defense for Resisting Malicious Visual Manipulation},
author = {Dawei Zhou and Suzhi Gang and Decheng Liu and Tongliang Liu and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2504.08411},
year = {2025}
}