基于双模态对比学习从 H&E 组织学图像预测空间分辨基因表达
计算机视觉与模式识别
2023-10-30 v2 人工智能
摘要
组织学成像是医学诊断与研究的重要工具，可在微观层面检查组织结构与组成。理解组织架构的潜在分子机制对于揭示疾病机理和开发有效疗法至关重要。基因表达谱可洞察组织架构背后的分子过程，但该过程耗时且昂贵。我们提出 BLEEP（Bi-modaL Embedding for Expression Prediction，用于表达预测的双模态嵌入），一种能够为全切片苏木精-伊红（H&E）染色组织学图像生成空间分辨基因表达谱的双模态嵌入框架。BLEEP 利用对比学习，从微米分辨率的配对图像与表达谱参考数据集构建低维联合嵌入空间。借此，任何查询图像块的基因表达均可使用该参考数据集的表达谱进行插补。我们在 10x Visium 平台采集的人肝组织数据集上基准测试，证明 BLEEP 在基因表达预测上的有效性，其显著优于现有方法。结果表明 BLEEP 有潜力洞察组织架构的分子机制，对多种疾病诊断与研究具有重要意义。所提方法可显著减少基因表达谱的时间与成本，为组织学图像的高通量分析在研究与临床中的应用开辟新途径。
引用
@article{arxiv.2306.01859,
title = {Spatially Resolved Gene Expression Prediction from H&E Histology Images via Bi-modal Contrastive Learning},
author = {Ronald Xie and Kuan Pang and Sai W. Chung and Catia T. Perciani and Sonya A. MacParland and Bo Wang and Gary D. Bader},
journal= {arXiv preprint arXiv:2306.01859},
year = {2023}
}