面向空间转录组学的跨模态学习大规模基准：基于组织片图像和基因表达数据的横向对比

空间转录组学技术能够同时测量基因表达和组织形态，为深入解析细胞组织构成和疾病机制提供了前所未有的视角。然而，该领域缺乏针对利用组织片图像与基因表达数据双模态信息的学习方法进行全面评估的基准测试。本文提出HESCAPE，一个基于 curated 的全组织 pan-组织数据集构建的大规模基准，涵盖6种不同的基因板和54名捐赠者，专注于空间转录组学中的跨模态对比预训练。我们系统评估了多种预训练策略下的最新图像编码器和基因表达编码器的效果，并考察其在两个下游任务上的表现：基因突变分类和基因表达预测。我们的基准测试表明，基因表达编码器是实现强表示对齐的关键因素，基于空间转录组数据预训练的基因模型优于无空间数据训练的模型以及简单基线方法。然而，下游任务评估揭示了一剂令人惊讶的矛盾：尽管对比预训练在基因突变分类任务上持续提升性能，但在直接基因表达预测任务中却恶化了相对于基线编码器的表现。我们识别出批次效应是干扰有效跨模态对齐的关键因素。我们的发现凸显了在空间转录组学中构建抗批次鲁棒性多模态学习方法的重要性。为加速这一方向的进展，本文发布HESCAPE，为社区提供标准化数据集、评估协议及基准测试工具。