面向基于影像组学的神经架构搜索的多模态信息融合
计算机视觉与模式识别
2020-07-14 v1 机器学习
图像与视频处理
摘要
“影像组学”是一种从放射影像中提取可挖掘定量特征的方法。这些特征随后可用于确定预后，例如预测远处转移（DM）的发展。然而，现有的影像组学方法需要复杂的人工操作，包括手工设计的影像组学特征的设计、提取与选择。基于卷积神经网络（CNN）的近期影像组学方法在网络架构设计和超参数调优方面同样需要人工输入。当存在多种成像模态时，影像组学的复杂性进一步增加，例如正电子发射断层扫描-计算机断层扫描（PET-CT）结合，其中PET提供功能信息，而计算机断层扫描（CT）提供互补的解剖定位信息。现有的多模态影像组学方法手动融合分别提取的数据。依赖手动融合通常会导致次优融合，因为它们依赖于“专家”对医学图像的理解。在本研究中，我们提出了一种多模态神经架构搜索方法（MM-NAS），以自动导出用于影像组学的最优多模态图像特征，从而消除对手工过程的依赖。我们使用一个软组织肉瘤（STSs）患者的公开PET-CT数据集，评估了MM-NAS预测DM的能力。结果表明，与最先进的影像组学方法相比，我们的MM-NAS具有更高的预测准确率。
引用
@article{arxiv.2007.06002,
title = {Multi-Modality Information Fusion for Radiomics-based Neural Architecture Search},
author = {Yige Peng and Lei Bi and Michael Fulham and Dagan Feng and Jinman Kim},
journal= {arXiv preprint arXiv:2007.06002},
year = {2020}
}
备注
Accepted by MICCAI 2020