面向组织病理学和分子组学的掩码式组学建模：多模态表征学习
机器学习
2025-12-17 v2 人工智能
摘要
自监督学习（SSL）推动了计算病理学领域的重大进展，通过从组织病理学数据中学习丰富的表征而实现。然而，仅靠组织分析可能难以捕捉更广泛的分子复杂性，因为关键的补充信息 resides 在高维组学轮廓中，如转录组、甲基组和基因组。为此，我们引入 MORPHEUS，第一个将组织病理学图像和多组学数据整合到共享 transformer-based 架构中的多模态预训练策略。其核心，MORPHEUS 依赖一种新颖的掩码式组学建模目标，以鼓励模型学习有意义的跨模态关系。这产生了一个通用的预训练编码器，可应用于组织病理学本身或与任何组学模态子集的组合。除推断外，MORPHEUS 还支持灵活的 any-to-any 组学重建，使包括组织病理学在内的任何模态子集可用于重建一个或多个组学轮廓。在大型 pan-cancer 数据集上进行预训练，MORPHEUS 在各种任务和模态组合上均显著优于监督和 SSL 方法。综上，这些能力将其定位为癌症领域多模态基础模型发展的有前景的方向。代码已公开于 https://github.com/Lucas-rbnt/MORPHEUS
引用
@article{arxiv.2508.00969,
title = {Masked Omics Modeling for Multimodal Representation Learning across Histopathology and Molecular Profiles},
author = {Lucas Robinet and Ahmad Berjaoui and Elizabeth Cohen-Jonathan Moyal},
journal= {arXiv preprint arXiv:2508.00969},
year = {2025}
}