基于拉曼图像与病史的多模态多尺度心血管疾病亚型分类
图像与视频处理
2023-04-20 v1 计算机视觉与模式识别
机器学习
摘要
拉曼光谱（RS）因其高效性和组分特异性检测能力，已广泛用于疾病诊断，例如心血管疾病（CVD）。近期一系列流行的深度学习方法被引入以从 RS 中学习细微特征进行二分类，并取得了优于传统机器学习的出色性能。然而，这些现有深度学习方法在 CVD 亚型分类中仍面临一些挑战。例如，由于 RS 序列形状极为相似，亚型间的细微差异很难被智能模型捕捉与表征。此外，病史信息是区分亚型的重要资源，却未被充分利用。鉴于此，我们提出了一种称为 M3S 的多模态多尺度模型，这是一种具有两个核心模块的新型深度学习方法以解决上述问题。首先，我们通过格拉姆角场（GAF）将 RS 数据转换为多种分辨率图像以放大细微差异，并利用双分支结构在多尺度特征提取模块中获取用于区分的嵌入。其次，在多模态数据融合模块中，使用概率矩阵和权重矩阵通过结合 RS 与病史数据来增强分类能力。我们对 M3S 进行了广泛评估，并在我们的内部数据集上发现其出色性能，准确率、精确率、召回率、特异性和 F1 分数分别为 0.9330、0.9379、0.9291、0.9752 和 0.9334。这些结果表明，与流行方法相比，M3S 在诊断 CVD 亚型方面具有高性能和鲁棒性。
引用
@article{arxiv.2304.09322,
title = {Multi-Modality Multi-Scale Cardiovascular Disease Subtypes Classification Using Raman Image and Medical History},
author = {Bo Yu and Hechang Chen and Chengyou Jia and Hongren Zhou and Lele Cong and Xiankai Li and Jianhui Zhuang and Xianling Cong},
journal= {arXiv preprint arXiv:2304.09322},
year = {2023}
}