基于图像提示的全切片图像基因生物标志物预测
图像与视频处理
2024-07-16 v1 计算工程、金融与科学
计算机视觉与模式识别
机器学习
组织与器官
摘要
预测基因生物标志物（如微卫星不稳定性和BRAF在结直肠癌中）对于临床决策至关重要。本文提出了一种基于全切片图像（WSI）的基因生物标志物预测方法，通过提示技术实现。我们的工作旨在解决以下挑战：（1）从巨像素WSI中提取与基因生物标志物相关的前景实例，（2）WSI中精细病理组成之间的相互作用。具体而言，我们利用大型语言模型生成医学提示词，这些提示词作为提取与基因生物标志物相关实例的先验知识。我们采用粗到细的方法在肿瘤微环境中探索生物标志物信息。这包括使用粗略的医学先验知识提取与基因生物标志物相关的实例，将病理实例分组为精细的病理组成并挖掘其相互作用。在两个结直肠癌数据集上的实验结果表明，我们的方法优于其他方法，实现了91.49%的AUC用于MSI分类。进一步的分析显示，我们的方法具有临床可解释性。代码已公开available at https://github.com/DeepMed-Lab-ECNU/PromptBio。
引用
@article{arxiv.2407.09540,
title = {Prompting Whole Slide Image Based Genetic Biomarker Prediction},
author = {Ling Zhang and Boxiang Yun and Xingran Xie and Qingli Li and Xinxing Li and Yan Wang},
journal= {arXiv preprint arXiv:2407.09540},
year = {2024}
}
备注
11 pages, 3 figures, MICCAI2024