CytoFM：第一个细胞学基础模型
计算机视觉与模式识别
2025-04-21 v1
摘要
细胞学因其 minimally invasive nature（最小侵入性）而在癌症诊断和筛查中至关重要。然而，由于样本染色和制备方法的异质性、不同器官之间的差异以及大规模多样化注释数据集的稀缺，开发针对数字细胞学的鲁棒深度学习模型颇具挑战性。为每个细胞学应用开发任务特定模型是不切实际的，而且非细胞学特定的基础模型在此领域难以泛化，因为该领域的重点在于细胞形态学。为此，我们介绍了 CytoFM，即首个细胞学自监督基础模型。使用 iBOT，这是一种集成掩码图像建模和自蒸馊的自监督 Vision Transformer（ViT）训练框架，我们在多样化的细胞学数据集上预训练 CytoFM，以学习鲁棒且可迁移的表征。我们在多个下游细胞学任务上评估了 CytoFM，包括乳腺癌分类和细胞类型识别，使用基于注意力的多实例学习框架。我们的结果表明，CytoFM 在两个-thirds（两三个）下游任务上优于基于组织病理学（UNI）或自然图像（iBOT-Imagenet）预训练的现有基础模型。对所学表征的可视化显示，我们的模型能够注意于细胞学相关特征。尽管预训练数据集较小，CytoFM 仍表现出色，这凸显了任务无关预训练方法从细胞学数据中学习鲁棒且可泛化特征的潜力。
引用
@article{arxiv.2504.13402,
title = {CytoFM: The first cytology foundation model},
author = {Vedrana Ivezić and Ashwath Radhachandran and Ekaterina Redekop and Shreeram Athreya and Dongwoo Lee and Vivek Sant and Corey Arnold and William Speier},
journal= {arXiv preprint arXiv:2504.13402},
year = {2025}
}