利用基础模型嵌入实现组织病理学中的零样本全切片图像检索
图像与视频处理
2024-09-13 v2 人工智能
计算机视觉与模式识别
摘要
我们测试了最近发表的组织病理学基础模型在图像检索中的性能。我们报告了top-1检索的宏平均F1分数、top-3检索的多数投票结果以及top-5检索的多数投票结果。我们执行零样本检索，即不修改嵌入，也不训练任何分类器。作为测试数据，我们使用了TCGA（癌症基因组图谱）的诊断切片，包含23个器官和117个癌症亚型。作为搜索平台，我们使用了Yottixel，它使我们能够利用图像块进行全切片图像(WSI)搜索。获得的F1分数显示性能较低，例如，对于top-5检索，结果为27% +/- 13% (Yottixel-DenseNet)、42% +/- 14% (Yottixel-UNI)、40%+/-13% (Yottixel-Virchow)、41%+/-13% (Yottixel-GigaPath)和41%+/-14% (GigaPath WSI)。
引用
@article{arxiv.2409.04631,
title = {Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models},
author = {Saghir Alfasly and Ghazal Alabtah and Sobhan Hemati and Krishna Rani Kalari and H. R. Tizhoosh},
journal= {arXiv preprint arXiv:2409.04631},
year = {2024}
}
备注
This paper will be updated with more results