融合不完整生物标志物与胸部 CT 数据的深度多路径网络用于肺癌风险评估
图像与视频处理
2021-02-11 v2 计算机视觉与模式识别
摘要
临床数据元素（CDEs）（如年龄、吸烟史）、血液标志物与胸部计算机断层扫描（CT）结构特征已被视为评估肺癌风险的有效手段。这些自变量可提供互补信息，我们假设将它们结合将提高预测精度。实践中，并非所有患者都具备所有这些变量。本文提出一种新的网络设计，称为多路径多模态缺失网络（M3Net），以多路径神经网络整合多模态数据（即 CDEs、生物标志物与 CT 图像），并考虑模态缺失情形。每条路径学习一种模态的判别特征，不同模态在第二阶段融合以进行集成预测。该网络可利用医学图像特征与 CDEs/生物标志物进行端到端训练，也可仅凭单模态做出预测。我们利用包含来自分子与细胞表征筛查病变联盟（MCL）项目的三个站点的数据集评估 M3Net。我们的方法在 1291 名受试者队列（383 名具备完整 CDEs/生物标志物与 CT 图像）中进行交叉验证，并在 99 名受试者队列（99 名具备完整 CDEs/生物标志物与 CT 图像）中进行外部验证。交叉验证与外部验证结果均表明，多模态结合显著提升了单模态的预测性能。结果表明，整合缺失 CDEs/生物标志物或 CT 成像特征的受试者有助于提升模型的判别能力（p < 0.05，bootstrap 双尾检验）。总之，所提出的 M3Net 框架在信息缺失情形下提供了一种整合图像与非图像数据的有效途径。
引用
@article{arxiv.2010.09524,
title = {Deep Multi-path Network Integrating Incomplete Biomarker and Chest CT Data for Evaluating Lung Cancer Risk},
author = {Riqiang Gao and Yucheng Tang and Kaiwen Xu and Michael N. Kammer and Sanja L. Antic and Steve Deppen and Kim L. Sandler and Pierre P. Massion and Yuankai Huo and Bennett A. Landman},
journal= {arXiv preprint arXiv:2010.09524},
year = {2021}
}
备注
RFW all-conference best paper finalist, SPIE2021 Medical Imaging