癌症生存预测的多模态原型设计
计算机视觉与模式识别
2024-07-02 v1 应用统计
摘要
结合巨像素组织学全切片图像 (WSI) 和转录组谱系的多模态生存方法对于患者预后评估和分层具有巨大潜力。当前方法将 WSI 标记化为较小的补丁（>10,000 个补丁），将转录组标记化为基因组，然后通过 Transformer 集成以预测结果。然而，这一过程会生成大量标记，导致注意力计算的高内存需求并使后续可解释性分析复杂化。相反，我们假设可以：（1）通过对构成其标记的形态原型进行浓缩，有效地总结 WSI 的形态内容，实现超过 300 倍的压缩；（2）通过生物学通路原型对转录组谱系进行准确表征，全部以无监督方式完成。最终得到的多模态标记然后由融合网络处理，无论是 Transformer 还是最优传输交叉对齐，均以少量固定数量的标记运行，无需近似。对六种癌症类型进行的广泛评估表明，我们的框架在计算资源大幅降低的情况下超越了当前的 SOTA 方法，并开启了新的可解释性分析。
关键词
引用
@article{arxiv.2407.00224,
title = {Multimodal Prototyping for cancer survival prediction},
author = {Andrew H. Song and Richard J. Chen and Guillaume Jaume and Anurag J. Vaidya and Alexander S. Baras and Faisal Mahmood},
journal= {arXiv preprint arXiv:2407.00224},
year = {2024}
}
备注
ICML 2024