TCGA数据中全切片基础模型图像检索效能验证
计算机视觉与模式识别
2026-05-05 v1 信息检索
摘要
基础模型正在重塑计算组织病理学，但其在相对于强大的基于块的监督聚合基线的全切片图像检索价值尚不清晰。我们在9,387张覆盖17种器官和60种诊断的TCGA诊断切片上对十个管道进行基准测试，使用患者级别的留一患者评估。方法包括四个预训练的切片基础模型、基于块嵌入的监督注意力多任务学习（ABMIL）聚合器，以及五种抽样密度下的块级检索。性能在器官和诊断之间差异大于在架构之间差异。尽管切片基础模型TITAN实现了最强的总体结果，但其优势有限；ABMIL和块级方法在Top-1和Top-3准确率方面达到相当水平，没有哪个模型在所有情况下都占据统治地位。形态学上具有辨识度的实体接近最佳性能，而稀有、异质且 closely related 的亚型仍具有挑战性。误分类与已知器官间观察者变异性相关的器官相吻合，这表明仅凭形态学表示在检索方面存在固有的性能上限。性能主要由块级特征表示驱动，对切片级聚合的好处有限，这表明在许多情况下聚合可能是不必要的。这些发现反对单一最优架构，支持器官分辨率的基准测试、诊断感知或集成策略、更强的特征表示以及多模态检索框架。值得注意的是，即使是最佳模型，在TCGA上也仅实现约68%±21%的检索准确率，一些亚型在所有方法下显示0%的准确率，这突显了基于形态学表示的根本局限性，并在可靠的临床部署之前需要取得实质性进展。
引用
@article{arxiv.2605.00902,
title = {Validation of Whole-Slide Foundation Models for Image Retrieval in TCGA Data},
author = {Tianhao Lei and Parsa Esmaeilkhani and Saghir Alfasly and Wataru Uegami and Judy C. Boughey and Matthew P. Goetz and Krishna R. Kalari and H. R. Tizhoosh},
journal= {arXiv preprint arXiv:2605.00902},
year = {2026}
}