用于放射学报告生成的增强知识注入

放射学报告的自动生成具有重要的临床价值，因其可减轻放射科医师的大量工作负担，并提醒经验较少的医师注意潜在异常。尽管各种图像描述方法在自然图像领域表现优异，为医学图像生成准确报告仍面临挑战，即视觉与文本数据的差异，以及准确领域知识的缺乏。为解决这些问题，我们提出了一种增强知识注入框架，其利用两个分支提取不同类型知识。加权概念知识（WCK）分支负责引入由 TF-IDF 分数加权的临床医学概念。多模态检索知识（MRK）分支从相似报告中提取三元组，强调与实体位置和存在相关的关键临床信息。通过将这种更细粒度且结构良好的知识与当前图像相融合，我们能够利用多源知识增益最终促进更准确的报告生成。在两个公开基准上进行的广泛实验表明，我们的方法优于其他最先进方法。消融实验进一步验证了两种提取知识源的有效性。