MIRROR：基于模态对齐与保留的病理组织学多模态自监督表示学习

组织病理学和转录组学是肿瘤学中基本的两种模态，分别封装了疾病的形态学和分子层面。多模态自监督学习已在整合多种数据源方面展现出巨大的潜力，用于学习病理表示。传统的多模态集成方法主要强调模态对齐，而忽略保持模态特定结构的重要性。然而，与传统场景不同，组织病理学和转录组学表现出显著的异质性，提供正交且互补的见解。组织病理学提供形态学和空间背景，阐明组织结构和细胞拓扑；而转录组学通过基因表达模式描绘分子特征。这种内在差异为在保持模态特定忠诚度的同时对齐它们带来了主要挑战。为此，我们提出 MIRROR，一种新型多模态表示学习方法，旨在促进模态对齐与保留。MIRROR 使用专用编码器为每个模态提取全面特征，随后通过模态对齐模块实现表型模式与分子概要之间的无缝集成。此外，模态保留模块保护各模态的独特属性，而样式聚类模块通过建模和对齐聚类空间中的一致病理特征来减轻冗余并增强疾病相关信息。对 TCGA 系列数据进行大规模评估显示，MIRROR 在癌症亚型和生存分析方面表现出卓越性能，证明其在构建综合病理特征表示方面的有效性，对于癌症诊断具有重要价值。