EMRRG：高效微调基于 X-ray Mamba 网络的放射科报告生成
计算机视觉与模式识别
2025-10-21 v1 人工智能
摘要
X-ray 图像基于医学报告生成（MRG）的人工智能是一个能够显著减少临床医生诊断负担和患者等待时间的关键领域。现有 MRG 模型主要依赖大型语言模型（LLM）来提高报告生成效果，仅限于探索预训练视觉基础模型或先进的微调技术。主流框架要么避免微调，要么采用简单的 LoRA 方法，常常忽视增强跨注意力机制的潜力。此外，虽然 Transformer-based 模型在视觉语言任务中占主导地位，但非 Transformer 架构，如 Mamba 网络，仍在医学报告生成领域受到 insufficient 探索，这为未来的研究提供了广阔的前景。本文提出了 EMRRG，一种新颖的 X-ray 报告生成框架，通过参数高效方法微调预训练 Mamba 网络。具体而言，将 X-ray 图像划分为图像块，进行标记并通过基于 SSM 的视觉主干网络进行特征提取，采用部分 LoRA 获得最佳性能。带有混合解码器的 LLM 生成医学报告，实现端到端训练并在基准数据集上取得优异成绩。在三个广泛使用的基准数据集上进行了大量实验，充分验证了我们所提出策略在 X-ray MRG 中的有效性。本文的代码将发布在 https://github.com/Event-AHU/Medical_Image_Analysis 上。
关键词
引用
@article{arxiv.2510.16776,
title = {EMRRG: Efficient Fine-Tuning Pre-trained X-ray Mamba Networks for Radiology Report Generation},
author = {Mingzheng Zhang and Jinfeng Gao and Dan Xu and Jiangrui Yu and Yuhan Qiao and Lan Chen and Jin Tang and Xiao Wang},
journal= {arXiv preprint arXiv:2510.16776},
year = {2025}
}