面向胸部 X 光报告生成的动态多域知识网络
计算机视觉与模式识别
2023-10-10 v1
摘要
放射诊断报告的自动生成有助于放射科医生做出及时准确的诊断决策，同时提升临床诊断效率。然而，正常与异常样本之间数据分布的显著不平衡（包括视觉与文本偏差）给诸如放射诊断报告自动生成这类数据驱动任务带来了重大挑战。为此，我们提出了一种用于放射诊断报告生成的动态多域知识（DMDK）网络。DMDK 网络由四个模块组成：胸部特征提取器（CFE）、动态知识提取器（DKE）、特定知识提取器（SKE）和多知识整合器（MKI）模块。具体而言，CFE 模块主要负责提取图像未加工的视觉医学特征。DKE 模块负责从检索到的放射诊断报告中提取动态疾病主题标签。随后我们将动态疾病主题标签与图像原始视觉特征相融合，以突出原始视觉特征中的异常区域，从而缓解视觉数据偏差问题。SKE 模块在传统静态知识图谱基础上进行扩展，通过领域特定的动态知识图谱来缓解文本数据偏差并增强模型的可解释能力。MKI 对所有知识进行蒸馏并生成最终的放射诊断报告。我们在两个广泛使用的数据集 IU X-Ray 和 MIMIC-CXR 上进行了大量实验。实验结果表明了方法的有效性，所有评估指标均优于以往的 SOTA 模型。
引用
@article{arxiv.2310.05119,
title = {Dynamic Multi-Domain Knowledge Networks for Chest X-ray Report Generation},
author = {Weihua Liu and Youyuan Xue and Chaochao Lin and Said Boumaraf},
journal= {arXiv preprint arXiv:2310.05119},
year = {2023}
}