通过 Haiku 连接空间生物学与临床组织学
机器学习
2026-05-05 v1 计算机视觉与模式识别
定量方法
摘要
整合分子、形态和临床数据是基础和转化生物医学研究的关键任务，但目前缺乏系统性的框架来联合建模这些模态。本文提出了 Haiku，一个基于多尺度免疫荧光 (mIF) 的三模态对比学习模型。Haiku 包含来自 3,218 份组织切片（覆盖 1,606 名患者和 11 种器官）的 2670 万个空间蛋白组数据块，并匹配了骨髓和红细胞染色 (H&E) 组织学及临床元数据，所有数据在共享嵌入空间中对齐。Haiku 实现了三模态跨模态检索，提升了下游分类和临床预测任务的性能，并通过仅基于临床元数据文本描述的条件融合检索支持零样态生物标志物推断。在各项任务中，Haiku 均优于竞争方法，实现跨模态检索（Recall@50 最高达 0.611，远高于近乎为零的基线）、生存预测（C-index 为 0.737，提升 7.91%）以及零样态生物标志物推断（52 个生物标志物上的平均 Pearson 相关系数为 0.718）。此外，我们引入了反事实预测框架，仅修改临床元数据而固定组织形态，揭示了乳腹癌分期和肺癌生存结果相关的特定生物学位点的分子变化。在一例肺腺癌病例研究中，反事实分析恢复了特定生物学位点的变化特征：CD8 和颗粒酶 B 增多，PD-L1 减少，Ki67 降低，与有利预后 patterns 一致。我们将这些反事实结果作为探索性、假设生成性信号呈现，而非机制性主张。这些能力表明，Haiku 的三模态对齐使得空间生物学与临床背景的整合分析成为可能，为生物学探索提供了可能。
引用
@article{arxiv.2605.00925,
title = {Linking spatial biology and clinical histology via Haiku},
author = {Yan Cui and Jacob S. Leiby and Wenhui Lei and Dokyoon Kim and Yanxiang Deng and Aaron T. Mayer and Zhenqin Wu and Alexandro E. Trevino and Zhi Huang},
journal= {arXiv preprint arXiv:2605.00925},
year = {2026}
}