利用多模态深度学习整合医学影像与临床报告以实现高级疾病分析
机器学习
2024-05-29 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
在本文中，提出了一种创新的多模态深度学习模型，以深度融合来自医学图像和临床报告的异构信息。首先，对于医学图像，使用卷积神经网络提取高维特征，并捕获诸如病灶细节、纹理和空间分布等关键视觉信息。其次，对于临床报告文本，使用结合注意力机制的双向长短期记忆网络进行深度语义理解，并准确捕获与疾病相关的关键语句。这两种特征通过设计的多模态融合层进行有效的交互与整合，以实现图像与文本的联合表示学习。在实证研究中，我们选择了一个涵盖多种疾病的大型医学图像数据库，并结合相应的临床报告进行模型训练和验证。实验结果表明，所提出的多模态深度学习模型在疾病分类、病灶定位和临床描述生成等领域表现出显著的优越性。
引用
@article{arxiv.2405.17459,
title = {Integrating Medical Imaging and Clinical Reports Using Multimodal Deep Learning for Advanced Disease Analysis},
author = {Ziyan Yao and Fei Lin and Sheng Chai and Weijie He and Lu Dai and Xinghui Fei},
journal= {arXiv preprint arXiv:2405.17459},
year = {2024}
}