Prior-RadGraphFormer：一种融合先验知识图谱增强 Transformer 从 X 光生成放射图
计算机视觉与模式识别
2023-09-19 v3
摘要
以放射图形式从自由文本放射报告中提取结构化临床信息，已被证明是评估报告生成方法临床正确性的有价值途径。然而，直接从胸部 X 光（CXR）图像生成放射图尚无人尝试。为弥补此空白，我们提出一种称为 Prior-RadGraphFormer 的新方法，其利用带有先验知识的 Transformer 模型，以概率知识图（PKG）的形式，直接从 CXR 图像生成放射图。该 PKG 建模放射实体（包括解剖结构与医学观测）之间的统计关系。这一额外上下文信息提升了实体与关系抽取的准确性。生成的放射图可应用于多种下游任务，如自由文本或结构化报告生成以及病理的多标签分类。我们的方法代表了一种直接从 CXR 图像生成放射图的有前景的途径，并在改进医学图像分析与临床决策方面具有显著潜力。
引用
@article{arxiv.2303.13818,
title = {Prior-RadGraphFormer: A Prior-Knowledge-Enhanced Transformer for Generating Radiology Graphs from X-Rays},
author = {Yiheng Xiong and Jingsong Liu and Kamilia Zaripova and Sahand Sharifzadeh and Matthias Keicher and Nassir Navab},
journal= {arXiv preprint arXiv:2303.13818},
year = {2023}
}
备注
In GRAIL @ MICCAI 2023