HiLa：面向癌症生存预测的层次化视觉语言协作框架

使用全切片图像（WSI）进行生存预测是癌症研究中的关键任务。尽管已有方法取得了显著成果，但这些方法依赖稀疏的切片级标签，限制了从巨像素级WSI中学习判别性特征的能力。最近涌现出的视觉语言（VL）模型通过引入额外的语言监督，成为一种有前景的解决方案。然而，VL-based生存预测仍 largely 未被探索，主要存在两个关键挑战：其一，现有方法通常仅依赖单一简单语言提示和基础余弦相似度，无法在WSI中捕捉多维语言信息与视觉特征之间的细粒度关联，导致视觉语言对齐不足；其二，这些方法主要利用切片级信息，忽略了WSI固有的层次结构及其相互作用，导致无法有效建模层次化互动。为解决上述问题，本文提出一种 novel 的层次化视觉语言协作（HiLa）框架，以提升生存预测性能。具体而言，HiLa 采用预训练特征提取器，从WSI的切片和区域两个层次生成层次化视觉特征。在每个层次上，构建一系列描述 various 生存相关属性的语言提示，通过 Optimal Prompt Learning（OPL）将其与视觉特征对齐。该方法 enables 对不同生存相关属性对应的判别性视觉特征进行全面学习，从而提升视觉语言对齐度。进一步，本文引入两大模块，即 Cross-Level Propagation（CLP）和 Mutual Contrastive Learning（MCL），以促进切片和区域层次之间的互动与一致性，从而实现层次化协作。在三个 TCGA 数据集上的实验表明，我们实现了 SOTA 性能。