AdaMSS: 用于从PET/CT图像预测生存结果的自适应多模态分割到生存学习
图像与视频处理
2024-10-17 v3 计算机视觉与模式识别
机器学习
摘要
生存预测是癌症管理的主要关切。基于深度学习的深度生存模型已被广泛采用,以从医学图像进行端到端生存预测。近期深度生存模型通过联合执行肿瘤分割与生存预测取得了有前景的性能,其中模型通过多任务学习(MTL)被引导提取肿瘤相关信息。然而,这些深度生存模型难以探索肿瘤外的预后信息。此外,现有深度生存模型无法有效利用多模态图像。经验设计的融合策略常通过任务特定的手动设计网络来融合多模态信息,从而限制了对不同场景的适应性。在本研究中,我们提出一种自适应多模态分割到生存模型(AdaMSS),用于从PET/CT图像进行生存预测。我们未采用MTL,而是提出一种新颖的分割到生存学习(SSL)策略,其中我们的AdaMSS分两阶段依次训练用于肿瘤分割与生存预测。该策略使AdaMSS在第一阶段聚焦于肿瘤区域,并逐步扩展其关注以在第二阶段纳入其他预后相关区域。我们还提出一种数据驱动策略来融合多模态信息,其在训练期间基于训练数据实现融合策略的自适应优化。借助SSL与数据驱动融合策略,我们的AdaMSS被设计为可针对不同训练阶段自适应其关注区域与融合策略的自适应模型。基于两个大型临床数据集的广泛实验表明,我们的AdaMSS优于最先进的生存预测方法。
引用
@article{arxiv.2305.09946,
title = {AdaMSS: Adaptive Multi-Modality Segmentation-to-Survival Learning for Survival Outcome Prediction from PET/CT Images},
author = {Mingyuan Meng and Bingxin Gu and Michael Fulham and Shaoli Song and Dagan Feng and Lei Bi and Jinman Kim},
journal= {arXiv preprint arXiv:2305.09946},
year = {2024}
}
备注
The extended version of this paper has been published at npj Precision Oncology as "Adaptive segmentation-to-survival learning for survival prediction from multi-modality medical images"