MeD-3D：用于透明细胞肾细胞癌 (ccRCC) 精确复发预测的多模态深度学习框架
图像与视频处理
2025-07-11 v1 计算机视觉与模式识别
摘要
由于透明细胞肾细胞癌 (ccRCC) 复杂的分子、病理和临床异质性，准确预测其复发仍是一项重大的临床挑战。依赖单一数据模态（如放射学、组织病理学或基因组学）的传统预后模型通常无法捕捉疾病复杂性的全貌，导致预测准确率欠佳。本研究旨在通过提出一个整合多模态数据的深度学习 (DL) 框架来克服这些局限性，该框架包括 CT、MRI、组织病理学全切片图像 (WSI)、临床数据和基因组图谱，以改善 ccRCC 复发预测并增强临床决策。所提出的框架利用了从多个公开来源（包括 TCGA、TCIA 和 CPTAC）整理的综合数据集。为了处理多样的模态，采用了特定领域的模型：基于 ResNet50 的模型 CLAM 用于组织病理学 WSI，而预训练的 3D-ResNet18 模型 MeD-3D 用于处理 CT 和 MRI 图像。对于结构化的临床和基因组数据，使用多层感知器 (MLP)。这些模型旨在从每种模态中提取深度特征嵌入，随后通过早期和晚期融合架构进行融合。这种融合策略使模型能够结合来自多个来源的互补信息。此外，该框架旨在通过在缺失某些模态时仍能进行推断，来处理不完整数据这一临床环境中的常见挑战。
引用
@article{arxiv.2507.07839,
title = {MeD-3D: A Multimodal Deep Learning Framework for Precise Recurrence Prediction in Clear Cell Renal Cell Carcinoma (ccRCC)},
author = {Hasaan Maqsood and Saif Ur Rehman Khan},
journal= {arXiv preprint arXiv:2507.07839},
year = {2025}
}