PromptSmooth：通过提示学习认证医学视觉语言模型的鲁棒性
计算机视觉与模式识别
2024-08-30 v1 密码学与安全
摘要
在医学图文对的大型数据集上训练并随后针对特定任务进行微调的医学视觉语言模型（Med-VLMs）已成为医学图像分析的主流范式。然而，最近的研究强调了这些 Med-VLMs 对对抗攻击的易感性，引发了对其安全性和鲁棒性的担忧。随机平滑是一种众所周知的技术，可将任何分类器转化为对对抗扰动具有可认证鲁棒性的模型。然而，这种方法需要重新训练基于 Med-VLM 的分类器，使其在 Gaussian 噪声下能很好地分类，这在实践中通常是不可行的。在本文中，我们提出了一个名为 PromptSmooth 的新框架，通过利用提示学习的概念来实现 Med-VLMs 的高效可认证鲁棒性。给定任何预训练的 Med-VLM，PromptSmooth 通过以零样本或少样本方式学习文本提示来使其适应 Gaussian 噪声，在准确性和鲁棒性之间取得微妙平衡，同时将计算开销降至最低。此外，PromptSmooth 仅需单个模型即可处理多个噪声级别，与依赖为每个噪声级别训练单独模型的传统方法相比，大幅降低了计算成本。基于三个 Med-VLMs 和跨越六种成像模态的下游数据集的综合实验证明了 PromptSmooth 的有效性。我们的代码和模型可在 https://github.com/nhussein/promptsmooth 获取。
引用
@article{arxiv.2408.16769,
title = {PromptSmooth: Certifying Robustness of Medical Vision-Language Models via Prompt Learning},
author = {Noor Hussein and Fahad Shamshad and Muzammal Naseer and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2408.16769},
year = {2024}
}
备注
Accepted to MICCAI 2024