TMSS：一种用于分割与生存预测的端到端基于Transformer的多模态网络
图像与视频处理
2022-09-13 v1 计算机视觉与模式识别
机器学习
摘要
肿瘤科医生评估癌症患者生存时，依赖于多模态数据。尽管文献中已提出一些多模态深度学习方法，但大多数依赖于两个或多个独立网络在整体模型后期阶段共享知识。另一方面，肿瘤科医生在分析时并不如此，而是在大脑中融合来自多个来源（如医学图像和患者病史）的信息。本工作提出一种深度学习方法来模拟肿瘤科医生在量化癌症和评估患者生存时的分析行为。我们提出 TMSS，一种用于分割与生存预测的端到端基于 Transformer 的多模态网络，它利用了 Transformer 在处理不同模态方面的优势。该模型在 HEad & NeCK TumOR 分割及 PET/CT 图像结果预测挑战赛（HECKTOR）的训练数据集上针对分割和预后任务进行了训练和验证。我们表明，所提预后模型以 0.763±0.14 的一致性指数显著优于现有最优方法，同时以 0.772±0.030 的 dice 分数达到了与独立分割模型相当的性能。代码已公开可用。
引用
@article{arxiv.2209.05036,
title = {TMSS: An End-to-End Transformer-based Multimodal Network for Segmentation and Survival Prediction},
author = {Numan Saeed and Ikboljon Sobirov and Roba Al Majzoub and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2209.05036},
year = {2022}
}