展望 MedCLIP：深入探究医学视觉语言模型的可解释性
计算机视觉与模式识别
2024-03-29 v1
摘要
面对日常涌现的多模态模型，解释深度学习模型正变得越来越重要，尤其是在医学成像等安全攸关领域。然而，缺乏对这些模型上可解释性方法性能的详细调查，正在拉大其开发与安全部署之间的差距。在这项工作中，我们分析了各种可解释 AI 方法在视觉语言模型 MedCLIP 上的性能，以揭示其内部工作原理。我们还提供了一种简单的方法来克服这些方法的缺点。我们的工作为医学领域近期知名 VLM 的可解释性提供了一种新的视角，并且我们的评估方法可推广到其他当前和未来可能的 VLM。
引用
@article{arxiv.2403.18996,
title = {Envisioning MedCLIP: A Deep Dive into Explainability for Medical Vision-Language Models},
author = {Anees Ur Rehman Hashmi and Dwarikanath Mahapatra and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2403.18996},
year = {2024}
}