放射病理组学：面向非小细胞肺癌自适应放疗的多模态学习

当前的癌症治疗实践收集多模态数据，如放射影像、组织病理切片、基因组学和临床数据。这些数据源各自的重要性催生了近期放射组学和病理组学的兴起，即从常规收集的放射影像和组织病理图像中提取定量特征，利用人工智能算法预测临床结果或指导临床决策。然而，如何将它们整合到一个单一的多模态框架中仍然是一个悬而未决的问题。因此，在本工作中，我们开发了一种多模态后期融合方法，该方法结合了从放射组学、病理组学和临床数据中计算出的手工特征，以预测非小细胞肺癌患者的放射治疗结果。在此背景下，我们研究了八种不同的后期融合规则（即乘积、最大值、最小值、均值、决策模板、Dempster-Shafer、多数投票和置信度规则）以及两种患者级聚合规则，充分利用了计算机断层扫描图像和全切片扫描提供的丰富信息。在一个包含33名患者的内部队列上进行的留一患者交叉验证实验表明，所提出的多模态范式AUC达到$90.9\%$，优于每种单模态方法，表明数据整合可以推进精准医疗。作为进一步贡献，我们还比较了手工特征表示与深度网络自动计算的特征，以及晚期融合范式与早期融合（另一种流行的多模态方法）。在这两种情况下，实验均表明所提出的多模态方法提供了最佳结果。