自监督学习够用吗？基础模型与端到端训练在有丝分裂图像分类中的基准比较
计算机视觉与模式识别
2024-12-17 v2
摘要
基础模型(FMs)，即在大量通常无标签数据上训练的模型，最近在组织病理学领域变得流行且可用。其关键思想是从任何输入补丁中提取语义丰富的向量，允许使用简单的后续分类网络 potentially 减少所需标注数据的量，并提高域鲁棒性。在本工作中，我们研究了这种思想在有丝分裂图像分类中的适用程度。利用两个流行的公开有丝分裂图像数据集，我们将五种公开可用的基础模型的线性探测与在ImageNet上训练的模型和一个简单的ResNet50端到端训练基线进行了比较。我们发现端到端训练的基线优于所有基于基础模型的分类器，无论提供的数据量如何。此外，我们未观察到基于基础模型的分类器对域偏移更具鲁棒性，从而使上述两个假设均不正确。
引用
@article{arxiv.2412.06365,
title = {Is Self-Supervision Enough? Benchmarking Foundation Models Against End-to-End Training for Mitotic Figure Classification},
author = {Jonathan Ganz and Jonas Ammeling and Emely Rosbach and Ludwig Lausser and Christof A. Bertram and Katharina Breininger and Marc Aubreville},
journal= {arXiv preprint arXiv:2412.06365},
year = {2024}
}
备注
6 pages, 2 figures