关注差距：评估通用与组织病理学基础模型的Patch嵌入在细胞分割与分类中的表现
计算机视觉与模式识别
2025-02-05 v1 人工智能
机器学习
定量方法
摘要
基础模型的最新进展已改变了计算机视觉，推动了包括数字组织病理学在内的各个领域的性能显著提升。然而，针对特定领域（如细胞分析）的组织病理学基础模型相对于通用模型的优势仍未得到充分探索。本研究通过分析应用于细胞实例分割和分类的多级Patch嵌入，探讨了这两类模型之间的表示学习差距。我们实现了一个编码器-解码器架构，采用一致的解码器和多种编码器。这些编码器包括在ImageNet-22K或LVD-142M上预训练的卷积、视觉Transformer（ViT）和混合编码器，代表通用基础模型。它们与最近发布的UNI、Virchow2和Prov-GigaPath基础模型中的ViT编码器进行比较，后者是在从数十万张组织病理学全切片图像中提取的Patch上训练的。解码器通过跳跃连接整合来自不同编码器深度的Patch嵌入，以生成语义图和距离图。然后对这些图进行后处理，以创建实例分割掩码（其中每个标签对应一个单独的细胞）并进行细胞类型分类。所有编码器在训练期间保持冻结，以评估其预训练的特征提取能力。我们使用PanNuke和CoNIC组织病理学数据集，以及新引入的用于脑细胞构筑研究的Nissl染色CytoDArk0数据集，评估了实例级检测、分割准确性和细胞类型分类。本研究深入探讨了通用基础模型与组织病理学基础模型的相对优势和局限性，为以细胞为中心的组织病理学和脑细胞构筑分析工作流程中的模型选择提供了指导。
引用
@article{arxiv.2502.02471,
title = {Mind the Gap: Evaluating Patch Embeddings from General-Purpose and Histopathology Foundation Models for Cell Segmentation and Classification},
author = {Valentina Vadori and Antonella Peruffo and Jean-Marie Graïc and Livio Finos and Enrico Grisan},
journal= {arXiv preprint arXiv:2502.02471},
year = {2025}
}