Libra：面向医学放射学分析的时序图像利用

放射学报告生成（RRG）需要先进的医学图像分析、有效的时序推理和准确的文本生成。虽然多模态大语言模型（MLLM）通过与预训练视觉编码器对齐来增强视觉-语言理解，但大多数现有方法依赖单图像分析或基于规则的启发式方法来处理多个图像，未能充分利用多模态医学数据集中的时序信息。本文引入 Libra，一个为胸部X射线报告生成量身定制的时序感知 MLLM。Libra 将结合放射学专用图像编码器与新颖的时序对齐连接器（TAC），旨在准确捕获并整合当前图像与先前图像之间的时序差异。在 MIMIC-CXR 数据集上的大量实验表明，Libra 在规模相似的 MLLM 中建立了新的状态突破，设定了在临床相关性和词汇准确性方面的新标准。