当放射学报告生成遇见知识图谱
计算机视觉与模式识别
2020-02-20 v1 人工智能
机器学习
图像与视频处理
摘要
自动放射学报告生成作为面向计算机辅助诊断以缓解医生工作量的吸引人的研究问题近年来受到关注。用于自然图像描述的自然图像字幕深度学习技术被成功适配到生成放射学报告。然而，放射学图像报告与自然图像字幕任务在两个方面有区别：1）与自然图像字幕中每个单词同等重要相比，放射学图像报告中阳性疾病关键词提及的准确性至关重要；2）报告质量评估应更关注匹配疾病关键词及其关联属性，而非统计 N-gram 出现次数。基于这些考量，我们在本工作中提出利用在多种疾病发现上预构建的图嵌入模块（以图卷积神经网络建模）来辅助报告生成。知识图谱的引入允许针对每种疾病发现进行专用特征学习并建模它们之间的关系。此外，我们借助同一构图提出了一种用于放射学图像报告的新评估指标。实验结果表明，在公开可获取的胸部 X 射线数据集（IU-RR）上，集成所提图嵌入模块的方法相较于先前采用图像字幕常用常规评估指标及我们提出指标的方法均表现出更优性能。
引用
@article{arxiv.2002.08277,
title = {When Radiology Report Generation Meets Knowledge Graph},
author = {Yixiao Zhang and Xiaosong Wang and Ziyue Xu and Qihang Yu and Alan Yuille and Daguang Xu},
journal= {arXiv preprint arXiv:2002.08277},
year = {2020}
}