BAPLe：基于提示学习的医学基础模型后门攻击

医学基础模型因能够从大量医学图像-文本对中推导通用表示而在医学界受到广泛关注。近期研究表明，这些模型容易受到后门攻击的影响，使其能够准确分类干净图像，但在引入特定触发器时却失效。然而，传统后门攻击需要大量额外数据来恶意预训练模型，这一要求在医学成像应用中通常因数据稀缺而不切实际。受可学习提示最新发展的启发，本工作提出了一种在提示学习阶段将后门嵌入医学基础模型的方法。通过在文本编码器中纳入可学习提示并在输入图像中引入不可察觉的可学习噪声触发器，我们利用了医学基础模型的全部能力。我们的方法BAPLe仅需极少量的数据即可调整噪声触发器和文本提示以用于下游任务，从而实现有效后门攻击的构建。通过对四种在不同模态上预训练的医学基础模型和六个下游数据集进行广泛实验，我们证明了该方法的有效性。BAPLe在所有模型和数据集上均实现了高后门成功率，优于基线后门攻击方法。我们的工作揭示了医学基础模型对后门攻击的脆弱性，并致力于促进医学基础模型在真实世界部署前的安全采用。代码可在 https://asif-hanif.github.io/baple/ 获取。