Prompt2Perturb (P2P)：基于扩散模型的乳腺超声图像文本引导对抗攻击
计算机视觉与模式识别
2024-12-16 v1
摘要
深度神经网络（DNN）为改进乳腺癌诊断在医学影像中提供了巨大的前景。然而，这些模型对对抗攻击高度敏感——小幅不可察觉的变化会误导分类器——这引发了关于其可靠性和安全性的严重关切。传统攻击依赖固定范数扰动，与人类感知不一致。相反，基于扩散的攻击需要预训练模型，在这些模型不可用时需要大量数据，限制了在数据稀缺场景中的实际应用。在医学影像中，这往往不可行 due to 数据集的有限可用性。基于最近的 learnable prompts 进展，我们提出 Prompt2Perturb (P2P)，一种 novel language-guided 攻击方法，能够通过文本指令生成有意义的攻击示例。在 prompt learning 阶段，我们的方法利用文本编码器中的 learnable prompts 来创建细微且具有影响力的扰动，保持不可察觉的同时引导模型实现预期结果。与当前的 prompt learning 方法不同，P2P 的独特之处在于直接更新文本嵌入，无需重新训练扩散模型。进一步，我们利用发现仅优化早期 reverse diffusion 步骤可提升效率，同时确保生成的对抗示例包含细微噪声，从而保留乳腺超声图像质量而不引入明显的伪影。我们表明该方法在三个乳腺超声数据集上在 FID 和 LPIPS 指标上超越了 state-of-the-art 攻击技术。此外，生成的图像在外观上更自然且更有效。我们的代码将在 https://github.com/yasamin-med/P2P 上公开。
引用
@article{arxiv.2412.09910,
title = {Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images},
author = {Yasamin Medghalchi and Moein Heidari and Clayton Allard and Leonid Sigal and Ilker Hacihaliloglu},
journal= {arXiv preprint arXiv:2412.09910},
year = {2024}
}