通过整合空间转录组学实现统一分子增强病理图像表征学习

近期在多模态预训练模型方面的进展显著推动了计算病理学的发展。然而，当前方法主要依赖视觉-语言模型，可能在分子视角下受到限制，导致性能瓶颈。我们引入了统一分子增强病理图像表征学习框架（Unified Molecule-enhanced Pathology Image REpresentationn Learning, UMPIRE）。UMPIRE 旨在利用基因表达轮廓的互补信息来指导多模态预训练，增强病理图像表征学习的分子感知能力。我们展示了这种分子视角为学习病理图像嵌入提供了稳健且与任务无关的训练信号。由于缺乏配对数据，约 400 万条空间转录组基因表达条目用于训练基因编码器。通过利用强大的预训练编码器，UMPIRE 在超过 69.7 万对病理图像-基因表达配对上实现了编码器对齐。UMPIRE 的性能在各种与分子相关的下游任务上得到展示，包括基因表达预测、spot 分类和 whole slide 图像中的突变状态预测。我们的发现突显了多模态数据整合的有效性，为探索由分子视角增强的计算病理学开辟了新途径。代码与预训练权重已提供：https://github.com/Hanminghao/UMPIRE。