从现代 CNN 到视觉 Transformer：组织病理学中华深度学习模型的性能、鲁棒性与分类策略评估
图像与视频处理
2023-05-11 v2 机器学习
机器学习
摘要
尽管机器学习目前正在变革组织病理学领域，但该领域缺乏基于超越单纯分类准确率的基本但互补的质量需求对最先进模型的全面评估。为填补这一空白，我们开发了一种新方法，以广泛评估一系列分类模型，包括最近的视觉 Transformer 和卷积神经网络，如：ConvNeXt、ResNet (BiT)、Inception、ViT 和 Swin transformer，涵盖有监督或无监督预训练的情况。我们在包含乳腺、胃和结直肠癌全切片图像的五个广泛使用组织病理学数据集上彻底测试了这些模型，并开发了一种使用图像到图像翻译模型评估癌症分类模型对染色变化的鲁棒性的新方法。此外，我们将现有的可解释性方法扩展到先前未研究的模型，并系统地揭示了模型分类策略的见解，这些见解可迁移至未来的模型架构。
引用
@article{arxiv.2204.05044,
title = {From Modern CNNs to Vision Transformers: Assessing the Performance, Robustness, and Classification Strategies of Deep Learning Models in Histopathology},
author = {Maximilian Springenberg and Annika Frommholz and Markus Wenzel and Eva Weicken and Jackie Ma and Nils Strodthoff},
journal= {arXiv preprint arXiv:2204.05044},
year = {2023}
}
备注
14 pages, 6 figures, v2: version accepted by Medical Image Analysis, code available under https://github.com/hhi-aml/histobenchmark