KARGEN：基于大语言模型的知识增强自动化放射学报告生成
计算机视觉与模式识别
2024-10-08 v1 人工智能
摘要
利用大语言模型（LLM）在叙事生成、逻辑推理和常识知识整合方面的强大能力，本研究深入探讨了利用 LLM 来增强自动化放射学报告生成（R2Gen）。尽管 LLM 蕴含丰富的知识，但如何在这些大模型中针对 R2Gen 等特定任务高效触发相关知识，仍是一个关键的研究挑战。本文提出了 KARGEN，一个基于 LLM 的知识增强自动化放射学报告生成框架。该框架利用冻结的 LLM 生成报告，并集成知识图谱以解锁 LLM 中与胸部疾病相关的知识，从而增强生成报告的临床实用性。这是通过利用知识图谱以特定方式提取疾病相关特征来实现的。由于放射学报告包含正常和疾病相关的发现，提取的图谱增强的疾病相关特征与区域图像特征相融合，以同时兼顾这两个方面。我们探索了两种融合方法，以自动优先排序并选择最相关的特征。LLM 利用融合后的特征生成对疾病更敏感且质量更高的报告。我们的方法在 MIMIC-CXR 和 IU-Xray 数据集上展现了可喜的结果。
引用
@article{arxiv.2409.05370,
title = {KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models},
author = {Yingshu Li and Zhanyu Wang and Yunyi Liu and Lei Wang and Lingqiao Liu and Luping Zhou},
journal= {arXiv preprint arXiv:2409.05370},
year = {2024}
}