MCA-RG：用于放射术报告生成的医学概念对齐增强 LLM
计算机视觉与模式识别
2025-08-22 v2 人工智能
摘要
尽管在将大型语言模型（LLM）适用于放射术报告生成（RRG）方面取得了显著进展，但由于难以准确地将病理特征和解剖特征映射到其对应的文本描述，临床采用仍具有挑战。此外，语义无关的特征提取进一步阻碍了准确诊断报告的生成。为此，我们引入 Medical Concept Aligned Radiology Report Generation（MCA-RG），一个以知识为导向的框架，显式地将视觉特征与 distinct 医学概念对齐，以增强报告生成过程。MCA-RG 利用两个精选概念库：包含病灶相关知识的病理概念库，以及包含解剖描述的解剆概念库。视觉特征与这些医学概念对齐并经过针对性增强。我们进一步提出了基于解剖的对比学习程序，以提高解剖特征的泛化能力，同时引入匹配损失以优先处理病理特征。此外，我们采用特征门控机制来过滤低质量概念特征。最后，视觉特征对应于 individual 医学概念，用来指导报告生成过程。在两个公开基准（MIMIC-CXR 和 CheXpert Plus）上的实验表明，MCA-RG 表现出优异的性能，凸显了其在放射术报告生成中的有效性。
引用
@article{arxiv.2507.06992,
title = {MCA-RG: Enhancing LLMs with Medical Concept Alignment for Radiology Report Generation},
author = {Qilong Xing and Zikai Song and Youjia Zhang and Na Feng and Junqing Yu and Wei Yang},
journal= {arXiv preprint arXiv:2507.06992},
year = {2025}
}
备注
MICCAI 2025