面向脑疾病检测的视觉Transformer与迁移学习的探索性研究与解释
计算机视觉与模式识别
2025-06-24 v3
摘要
大脑是一个高度复杂的器官，负责运动、记忆和思维等许多重要任务。脑相关疾病，如肿瘤和退行性疾病，可能难以诊断和治疗。磁共振成像（MRI）是识别这些疾病的关键工具，可提供脑结构的高分辨率图像。尽管如此，解读MRI扫描图像仍可能很复杂。本研究通过对比分析视觉Transformer（ViT）与迁移学习（TL）模型（如VGG16、VGG19、Resnet50V2、MobilenetV2），利用基于孟加拉国的MRI数据集进行脑疾病分类，来应对这一挑战。ViT以其捕捉图像中全局关系的能力而闻名，在医学成像任务中尤其有效。迁移学习通过微调预训练模型有助于缓解数据限制。此外，还采用了可解释人工智能（XAI）方法，如GradCAM、GradCAM++、LayerCAM、ScoreCAM和Faster-ScoreCAM来解释模型预测。结果表明，ViT超越了迁移学习模型，达到了94.39%的分类准确率。XAI方法的集成增强了模型透明度，为帮助医疗专业人员更精确地诊断脑疾病提供了关键见解。
引用
@article{arxiv.2505.16039,
title = {An Exploratory Approach Towards Investigating and Explaining Vision Transformer and Transfer Learning for Brain Disease Detection},
author = {Shuvashis Sarker and Shamim Rahim Refat and Faika Fairuj Preotee and Shifat Islam and Tashreef Muhammad and Mohammad Ashraful Hoque},
journal= {arXiv preprint arXiv:2505.16039},
year = {2025}
}
备注
Accepted for publication in 2024 27th International Conference on Computer and Information Technology (ICCIT)