面向病理全切片图像分层分类的诊断文本引导表征学习

随着医学显微数字成像的发展,基于人工智能的病理全切片图像(WSI)分析为癌症诊断提供了有力工具。受限于像素级标注的高昂成本,当前研究主要集中于利用切片级标签的表征学习,在各类下游任务中取得了成功。然而,鉴于病变类型的多样性及其相互间的复杂关系,这些技术在应对高级病理任务时仍有进一步探索的空间。为此,我们引入分层病理图像分类的概念,并提出一种名为 PathTree 的表征学习方法。PathTree 将疾病的多分类视为二叉树结构。每个类别用专业的病理文本描述表示,通过树状编码器传递信息。随后利用交互式文本特征引导层次化多重表征的聚合。PathTree 利用切片-文本相似度获取概率分数,并引入两个额外的树特定损失,进一步约束文本与切片的关联。通过在三个具有挑战性的分层分类数据集上的大量实验:院内冰冻切片肺组织病变识别、公开前列腺癌分级评估和公开乳腺癌亚型分类,我们提出的 PathTree 始终与最先进方法具有竞争力,并为更复杂的 WSI 分类提供了深度学习辅助解决的新视角。