面向基于文本的定量可解释组织病理图像分析

最近，视觉语言预训练模型在计算病理学中涌现。以对比式预训练范式对齐图像-文本对的工作为主。这些预训练模型以零样本学习或迁移学习方式被应用于病理图像分类。本文假设，预训练的视觉语言模型可通过简单的图像到文本检索用于定量组织病理图像分析。为此，我们提出了基于文本的定量可解释组织病理图像分析方法，称为 TQx。给定一组组织病理图像，我们采用预训练的视觉语言模型检索感兴趣词汇池。检索到的词汇随后用于对组织病理图像进行量化，并生成可理解的特征嵌入，因为这些嵌入直接映射到文本描述。为评估所提方法，使用四个组织病理图像数据集的文本基嵌入进行聚类和分类任务。结果表明，TQx 能够对计算病理学中主流视觉模型相当的组织病理图像进行量化和分析。