医学图像分割中视觉-语言模型的对抗鲁棒性分析
计算机视觉与模式识别
2025-05-07 v1
摘要
对抗攻击在计算机视觉和视觉-语言模型中已得到相当多的探索。然而，针对视觉语言分割模型 (VLSMs) 的对抗攻击途径，尤其是在医学图像分析领域，仍未得到充分研究。因此，我们研究了 VLSMs 针对不同模态（放射学、摄影和内窥镜）的 2D 医学图像的对抗攻击的鲁棒性。本项目的主要思想是评估微调后的 VLSM 在医学领域环境中的鲁棒性，以应对高风险场景。首先，我们使用适配器对预训练的 VLSM 进行了针对医学图像分割的微调。然后，我们在该微调模型上应用了对抗攻击——投影梯度下降 (PGD) 和快速梯度符号法 (FGSM)——以确定其对抗对手的鲁棒性。我们报告了模型性能的下降，以分析对抗攻击的影响。结果显示，在引入这些对抗攻击后，DSC 和 IoU 分数显著下降。此外，我们还探索了通用扰动，但未能找到适用于医学图像的通用扰动。\footnote{https://github.com/anjilab/secure-private-ai}
引用
@article{arxiv.2505.02971,
title = {Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation},
author = {Anjila Budathoki and Manish Dhakal},
journal= {arXiv preprint arXiv:2505.02971},
year = {2025}
}