M²Fusion:基于贝叶斯的多模态多层级融合用于结直肠癌微卫星不稳定性预测
计算机视觉与模式识别
2024-01-17 v1
摘要
在组织病理学图像上进行结直肠癌（CRC）微卫星不稳定性（MSI）预测是一项具有挑战性的弱监督学习任务，涉及对千兆像素图像的多实例学习。迄今为止，放射学图像已被证明含有CRC MSI信息，并且是高效的患者成像技术。不同数据模态的整合为提高MSI预测的准确性和鲁棒性提供了机会。尽管在全切片图像（WSI）表示学习以及利用放射学数据潜力方面取得了进展，但CRC MSI预测在融合来自多种数据模态（如病理WSI和放射学CT图像）的信息方面仍然是一个挑战。在本文中，我们提出了M²Fusion：一种基于贝叶斯的多模态多层级融合流程，用于CRC MSI。所提出的融合模型M²Fusion能够发现模态内部和跨模态的更多新颖模式，这些模式比单独使用单一模态以及其他融合方法更有利于预测MSI。本文的贡献有三方面：（1）M²Fusion是首个将病理WSI和3D放射学CT图像进行多层级融合用于MSI预测的流程；（2）CT图像首次被整合到多模态融合中用于CRC MSI预测；（3）在基于Transformer和基于CNN的方法上评估了特征级融合策略。我们的方法在352例病例的交叉验证中得到了验证，在AUC分数上优于特征级融合策略（0.8177 vs. 0.7908）和决策级融合策略（0.8177 vs. 0.7289）。
引用
@article{arxiv.2401.07854,
title = {$M^{2}$Fusion: Bayesian-based Multimodal Multi-level Fusion on Colorectal Cancer Microsatellite Instability Prediction},
author = {Quan Liu and Jiawen Yao and Lisha Yao and Xin Chen and Jingren Zhou and Le Lu and Ling Zhang and Zaiyi Liu and Yuankai Huo},
journal= {arXiv preprint arXiv:2401.07854},
year = {2024}
}