从空间转录组到组织学的跨模态知识蒸馏
计算机视觉与模式识别
2026-04-13 v1
摘要
空间转录组提供了组织构成的分子细粒度描述，使无监督发现组织生物学位（tissue niche）成为可能，即具有不同细胞类型组成和功能的空间一致区域，这些区域在生物学研究和临床解释中都具有重要意义。然而，空间转录组成本高昂且数据稀缺，而HE组织学则丰富但信号较粗糙。我们提出利用配对的空间转录组和HE组织学数据，通过跨模态蒸馏将转录组推导出的生物学位结构传递给组织学模型。在多种组织类型和疾病背景下，蒸馏后的模型在与转录组推导出的生物学位结构之间的一致性方面显著优于基于相同图像特征训练的无监督形态学基线方法，并通过细胞类型分析验证了其对生物学有意义的邻域组成的恢复能力。该框架在训练时利用配对的空间转录组和HE组织学数据，推理时仅需组织学输入即可应用于未知组织区域，无需任何转录组输入。
引用
@article{arxiv.2604.09076,
title = {Cross-Modal Knowledge Distillation from Spatial Transcriptomics to Histology},
author = {Arbel Hizmi and Artemii Bakulin and Shai Bagon and Nir Yosef},
journal= {arXiv preprint arXiv:2604.09076},
year = {2026}
}
备注
Accepted to the CVMI Workshop at CVPR 2026. Project page: https://cross-modal-distillation.github.io/