用于临床准确 X 射线报告生成的属性化异常图嵌入
计算机视觉与模式识别
2022-07-06 v2 计算与语言
摘要
从 X 射线图像自动生成医学报告可辅助放射科医生完成耗时但重要的报告撰写任务。然而，实现临床准确的生成报告仍具挑战性。利用知识图方法对潜在异常建模已被证明在提升临床准确性方面具有前景。本文引入一种称为属性化异常图（ATAG）的新型细粒度知识图结构。ATAG 由相互连接的异常节点和属性节点组成，使其能够更好地捕捉异常细节。与现有手动构建异常图的方法不同，我们提出一种基于标注、X 射线数据集中的医学报告以及 RadLex 放射学词典自动构建该细粒度图结构的方法。随后，我们使用具有编码器-解码器架构的深度模型学习 ATAG 嵌入以用于报告生成。特别地，我们探索图注意力网络来编码异常及其属性之间的关系。采用门控机制并将其与多种解码器集成以进行生成。我们基于基准数据集进行了大量实验，结果表明所提出的基于 ATAG 的深度模型大幅优于 SOTA 方法，并能提升生成报告的临床准确性。
引用
@article{arxiv.2207.01208,
title = {Attributed Abnormality Graph Embedding for Clinically Accurate X-Ray Report Generation},
author = {Sixing Yan and William K. Cheung and Keith Chiu and Terence M. Tong and Charles K. Cheung and Simon See},
journal= {arXiv preprint arXiv:2207.01208},
year = {2022}
}
备注
14 pages, 7 figures