MedFuse：临床时间序列数据与胸部X光图像的多模态融合
图像与视频处理
2023-03-03 v2 计算机视觉与模式识别
机器学习
摘要
多模态融合方法旨在整合来自不同数据源的信息。与音视频应用等自然数据集中样本由“配对”模态组成不同，医疗中的数据常异步收集。因此，要求给定样本具备所有模态在临床任务中并不现实，且会显著限制训练时数据集的规模。本文中，我们提出MedFuse，一个概念简单却有前景的基于LSTM的融合模块，可容纳单模态以及多模态输入。我们评估了该融合方法，并利用MIMIC-IV数据集中的临床时间序列数据与MIMIC-CXR中相应的胸部X光图像，为院内死亡率预测和表型分类引入了新的基准结果。相比更复杂的多模态融合策略，MedFuse在完全配对测试集上大幅提升了性能。它在包含缺失胸部X光图像样本的部分配对测试集上也保持鲁棒。我们发布代码以保证可复现性，并便于未来竞争模型的评估。
引用
@article{arxiv.2207.07027,
title = {MedFuse: Multi-modal fusion with clinical time-series data and chest X-ray images},
author = {Nasir Hayat and Krzysztof J. Geras and Farah E. Shamout},
journal= {arXiv preprint arXiv:2207.07027},
year = {2023}
}