基于约束的多模态学习方法提升心房杂动预测效果
信号处理
2024-12-25 v1
摘要
心脏疾病评估依赖于多种诊断模态: 心电图（ECG）用于诊断异常心律，影像学模态（如MRI、CT和超声心动图）用于检测结构异常的迹象。每种模态都为更准确的心脏功能诊断提供互补信息。然而，使用来自多种模态的数据训练机器学习（ML）模型是具有挑战性的，因为这会增加维度空间，而保持样本数量不变。实际上，随着输入空间维度的增加，对实现准确泛化所需的数据量呈指数增长。在本工作中，我们针对心房杂动（VA）预测应用，基于临床数据和CT影像特征的结合，提出了一种基于医学影像（CT）约束学习过程的方法。VA分类器输入为左心室肌厚度图（TM）提取的特征。该TM由我们的管道从影像输入生成，采用图卷积网络作为3D TM的特征提取器。我们引入一种新型的顺序融合方法，并对其性能进行评估，与传统的早期融合技术和单一模态模型进行比较。交叉验证结果表明，顺序融合模型在灵敏度方面实现了最高的平均得分为80.7%（±4.4），F1得分为73.1%（±6.0），显著优于早期融合模型的灵敏度65.0%（±8.9）和F1得分63.1%（±6.3）。两种融合模型都优于单一模态模型，其中临床数据模态的平均灵敏度和F1得分为62.8%（±10.1）和52.1%（±6.5），医学影像模态的平均灵敏度和F1得分为62.9%（±6.3）和60.7%（±5.3）。
引用
@article{arxiv.2412.17840,
title = {Constraint-Based Model in Multimodal Learning to Improve Ventricular Arrhythmia Prediction},
author = {Evariste Njomgue Fotso and Buntheng Ly and Hubert Cochet and Maxime Sermesant},
journal= {arXiv preprint arXiv:2412.17840},
year = {2024}
}