利用Transformer通过多模态与纵向数据改进乳腺癌分类与风险评估
图像与视频处理
2023-11-16 v2 计算机视觉与模式识别
机器学习
摘要
乳腺癌筛查主要通过乳腺X线摄影进行，常辅以超声用于致密乳腺组织女性。然而，现有深度学习模型独立分析每种模态，错失了跨成像模态与时间整合信息的机会。在本研究中，我们提出多模态Transformer（MMT），一种协同利用乳腺X线摄影与超声的神经网络，用于识别当前患癌患者并估计当前未患癌患者的未来患癌风险。MMT通过自注意力聚合多模态数据，并通过比对当前检查与既往影像追踪组织的时间变化。在130万次检查上训练后，MMT在检测现有癌症中达到0.943的AUROC，超越强单模态基线。对于5年风险预测，MMT达到0.826的AUROC，优于先前基于乳腺X线摄影的风险模型。我们的研究凸显了多模态与纵向影像在癌症诊断与风险分层中的价值。
引用
@article{arxiv.2311.03217,
title = {Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data},
author = {Yiqiu Shen and Jungkyu Park and Frank Yeung and Eliana Goldberg and Laura Heacock and Farah Shamout and Krzysztof J. Geras},
journal= {arXiv preprint arXiv:2311.03217},
year = {2023}
}
备注
ML4H 2023 Findings Track