重新思考医学报告生成：基于知识图谱的疾病揭示增强
计算机视觉与模式识别
2023-07-25 v1 人工智能
机器学习
摘要
知识图谱（KG）在医学报告生成（MRG）中起着关键作用，因为它揭示了疾病之间的关系，从而可用于引导生成过程。然而，构建全面的知识图谱费时费力，且其在 MRG 过程中的应用尚待充分探索。在本研究中，我们建立了关于胸部 X 射线影像的完整知识图谱，包含 137 种疾病与异常。基于该知识图谱，我们发现当前 MRG 数据集在疾病分布上呈现长尾问题。为缓解此问题，我们引入了一种新的增强策略，以加强分布尾端疾病类型的表示。我们进一步设计了一种两阶段 MRG 方法：首先训练一个分类器来检测输入图像是否呈现任何异常；随后将分类后的图像分别送入两个基于 transformer 的生成器，即“疾病特异性生成器”与“无疾病生成器”，以生成相应报告。为增强对生成报告是否正确描述输入图像中出现的疾病的临床评估，我们提出了多样性敏感度（DS）这一新指标，用于检查生成疾病是否与真实情况匹配，并衡量所有生成疾病的多样性。结果表明，所提出的两阶段生成框架与增强策略显著提升了 DS，表明与代表性不足疾病相关的长尾问题明显缓解。
引用
@article{arxiv.2307.12526,
title = {Rethinking Medical Report Generation: Disease Revealing Enhancement with Knowledge Graph},
author = {Yixin Wang and Zihao Lin and Haoyu Dong},
journal= {arXiv preprint arXiv:2307.12526},
year = {2023}
}