ORID：面向放射学报告生成的器官区域信息驱动框架

放射学报告生成（RRG）的目标是基于放射学图像自动生成连贯的疾病文本分析，从而减轻放射科医生的工作量。当前基于人工智能的 RRG 方法主要集中在编码器-解码器模型架构的修改上。为了推进这些方法，本文引入了一个器官区域信息驱动（ORID）框架，该框架能够有效整合多模态信息并减少来自无关器官的噪声影响。具体而言，基于 LLaVA-Med，我们首先构建了一个与 RRG 相关的指令数据集，以提高器官区域诊断描述能力，并得到 LLaVA-Med-RRG。之后，我们提出了一个基于器官的跨模态融合模块，以有效结合来自器官区域诊断描述和放射学图像的信息。为了进一步减少来自无关器官的噪声对放射学报告生成的影响，我们引入了一个器官重要性系数分析模块，该模块利用图神经网络（GNN）来检查每个器官区域跨模态信息的相互联系。广泛的实验以及与各种评估指标下最先进方法的比较，证明了我们提出方法的优越性能。