使用表征相似性分析比较计算病理基石模型
计算机视觉与模式识别
2025-11-07 v2 人工智能
摘要
给定其在促进许多下游任务方面的前景，计算病理（CPath）中的基石模型日益受到开发。尽管近期研究评估了跨模型的任务性能，但关于其学习表征的结构和变异性了解不足。本文使用计算神经科学中流行的技术，对六个 CPath 基石模型的表征空间进行系统性分析。所分析的模型涵盖视觉-语言对比学习（CONCH、PLIP、KEEP）和自蒸馏（UNI（v2）、Virchow（v2）、Prov-GigaPath）方法。通过使用 TCGA 的 H&E 图像块进行表征相似性分析，我们发现 UNI2 和 Virchow2 的表征结构最为不同，而 Prov-Gigapath 在模型之间具有最高的平均相似性。具有相同训练范式（视觉唯一 vs. 视觉-语言）并不保证更高的表征相似性。所有模型的表征显示出高度的 slide-dependent，但相对较低的 disease-dependent。染色质归一化对所有模型的 slide-dependence降低了 5.5%（CONCH）至 20.5%（PLIP）的范围。就内在维度而言，视觉-语言模型表现出相对紧凑的表征，而视觉唯一模型则表现出更分布的表征。这些发现凸显了提高对 slide-specific 特征鲁棒性、信息模型集成策略以及训练范式如何塑造模型表征的机会。我们的框架可扩展到医学影像领域，其中探索基石模型内部表征可支持其有效开发和部署。
引用
@article{arxiv.2509.15482,
title = {Comparing Computational Pathology Foundation Models using Representational Similarity Analysis},
author = {Vaibhav Mishra and William Lotter},
journal= {arXiv preprint arXiv:2509.15482},
year = {2025}
}
备注
Proceedings of the 5th Machine Learning for Health (ML4H) Symposium