基于约束分层多模态特征学习的 PET-CT 预测软组织肉瘤远处转移
图像与视频处理
2021-12-22 v1 计算机视觉与模式识别
机器学习
摘要
远处转移（DM）是指肿瘤通常超出原发器官的传播。它们是软组织肉瘤（STSs）患者死亡的主要原因。正电子发射断层扫描-计算机断层扫描（PET-CT）被认为是 STSs 诊疗的首选成像方式。从影像研究中确定哪些 STS 患者会发生转移是困难的。'放射组学'是指从医学图像中提取和分析定量特征，并已被用于帮助识别此类肿瘤。放射组学的最先进水平基于卷积神经网络（CNNs）。大多数 CNN 是为单模态成像数据（仅 CT 或仅 PET）设计的，并未利用 PET-CT 中嵌入的信息，后者结合了解剖与功能成像模态。此外，大多数放射组学方法依赖影像专家对肿瘤勾画、放射组学特征定义与选择的手动输入。然而，这种方法可能难以扩展到边界复杂且存在多个其他病灶的肿瘤。我们提出了一种新的 3D CNN，用于从 PET-CT 数据帮助预测 STS 患者的 DM。该 3D CNN 使用约束特征学习模块和分层多模态特征学习模块，利用模态间的互补信息聚焦于语义重要区域。我们在公开的 STS 患者 PET-CT 数据集上的结果表明，多模态信息提高了识别发生 DM 患者的能力。此外，我们的方法优于所有其他相关的最先进方法。
引用
@article{arxiv.2104.11416,
title = {Predicting Distant Metastases in Soft-Tissue Sarcomas from PET-CT scans using Constrained Hierarchical Multi-Modality Feature Learning},
author = {Yige Peng and Lei Bi and Ashnil Kumar and Michael Fulham and Dagan Feng and Jinman Kim},
journal= {arXiv preprint arXiv:2104.11416},
year = {2021}
}
备注
Under Review