集成MedCLIP与跨模态融合用于自动放射学报告生成
计算机视觉与模式识别
2024-12-11 v1
摘要
自动化放射学报告生成可以显著减少放射科医生的工作量，并提高临床文档的准确性、一致性和效率。我们提出了一种新型跨模态框架，使用MedCLIP同时作为视觉提取器和检索机制，以改进医学报告生成过程。通过注意力提取模块提取检索到的报告特征和图像特征，并通过融合模块进行整合，我们的方法提高了生成报告的一致性和临床相关性。在广泛使用的IU-Xray数据集上的实验结果证明了我们方法的有效性，在报告质量和相关性方面均优于常用方法。此外，消融研究进一步验证了该框架，突出了准确报告检索和特征整合在生成全面医学报告中的重要性。
引用
@article{arxiv.2412.07141,
title = {Integrating MedCLIP and Cross-Modal Fusion for Automatic Radiology Report Generation},
author = {Qianhao Han and Junyi Liu and Zengchang Qin and Zheng Zheng},
journal= {arXiv preprint arXiv:2412.07141},
year = {2024}
}
备注
Accepted in IEEE Big Data 2024