自然域基础模型对医学图像分类是否有用？
计算机视觉与模式识别
2023-11-15 v2
摘要
深度学习领域正趋向于使用可轻松适配多种任务的通用基础模型。尽管这一范式转变在自然语言处理领域已成为常见做法，但在计算机视觉中进展较慢。本文中我们试图通过研究各种最先进基础模型向医学图像分类任务的迁移性来解决此问题。具体而言，我们评估了五种基础模型，即 SAM、SEEM、DINOv2、BLIP 和 OpenCLIP 在四个成熟医学成像数据集上的性能。我们探索了不同的训练设置以充分挖掘这些模型的潜力。我们的研究给出混合结果。DINOv2 始终优于 ImageNet 预训练的标准做法。然而，其他基础模型未能一致击败这一既定基线，表明它们向医学图像分类任务的迁移存在局限。
引用
@article{arxiv.2310.19522,
title = {Are Natural Domain Foundation Models Useful for Medical Image Classification?},
author = {Joana Palés Huix and Adithya Raju Ganeshan and Johan Fredin Haslum and Magnus Söderberg and Christos Matsoukas and Kevin Smith},
journal= {arXiv preprint arXiv:2310.19522},
year = {2023}
}
备注
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024)