基于直方图学术语图像的空间基因表达预测的多模态对比学习

近年来，空间转录组学（spatial transcriptomics, ST）技术的出现，为深入探究复杂生物系统中基因表达图谱的复杂性提供了前所未有的机会。尽管其发展潜力巨大，但 ST 技术的高昂成本仍是其在大规模研究中广泛采用的主要障碍。一种更具成本效益的替代策略是利用人工智能方法，通过可获取的全切片图像（whole-slide images, WSIs）预测基因表达水平，这些图像染色了半氧化苷（Hematoxylin and Eosin, H&E）。然而，现有方法尚未充分利用 H&E 图像和 ST 数据中提供的多模态信息及其空间位置信息。本文提出了 mclSTExp（multimodal contrastive learning for Spatial Transcriptomics Expression prediction），其采用 Transformer 和 Densenet-121 编码器进行空间转录组表达预测。我们将每个空间位置概念化为一个“词”，通过 Transformer 编码器的自注意力机制将其内在特征与空间上下文相结合。这种集成进一步通过对比学习融合图像特征，从而增强了模型的预测能力。我们对 mclSTExp 在两个乳腺癌数据集和一个皮肉鳞状细胞癌数据集上的广泛评估表明，其在预测空间基因表达方面表现优异。此外，mclSTExp 在解释癌症特异性高表达基因、阐明免疫相关基因以及识别由病理学家注释的特殊空间域方面也显示出前景。我们的源代码已公开于 https://github.com/shizhiceng/mclSTExp。