基于 Transformer 的多模态脑卒中治疗分类结果预测
计算机视觉与模式识别
2024-11-19 v3 人工智能
机器学习
摘要
本研究提出了一种基于 Transformer 架构和自注意力机制的多模态融合框架 Multitrans。该架构结合了对接受脑卒中治疗患者的非对比计算机断层扫描(NCCT)图像和出院诊断报告的研究，使用多种基于 Transformer 架构的方法来预测脑卒中治疗的功能性结果。结果表明，单模态文本分类的性能显著优于单模态图像分类，而多模态组合的效果优于任何单一模态。尽管 Transformer 模型仅在影像数据上表现较差，但当其与临床元诊断信息结合时，两者均能学习到更好的互补信息，并对准确预测脑卒中治疗效果做出良好贡献。
引用
@article{arxiv.2404.12634,
title = {Transformer-Based Classification Outcome Prediction for Multimodal Stroke Treatment},
author = {Danqing Ma and Meng Wang and Ao Xiang and Zongqing Qi and Qin Yang},
journal= {arXiv preprint arXiv:2404.12634},
year = {2024}
}