TieNet:用于胸部X光常见胸腔疾病分类与报告生成的文本-图像嵌入网络
计算机视觉与模式识别
2018-01-16 v1
摘要
胸部X光是日常临床流程中最常见的放射学检查之一。利用胸部X光报告胸腔疾病通常是放射科受训医生的入门任务。然而,由于(1)缺乏大规模可机器学习的医学图像数据集,以及(2)缺少能够模仿人类放射科医生需经多年知识积累与专业训练方能获得的高层推理能力的技术,阅读胸部X光图像对面向学习的机器智能而言仍具挑战。本文中,我们展示了临床自由文本放射学报告可作为先验知识来解决这两个关键问题。我们提出一种新颖的文本-图像嵌入网络(TieNet)以提取独特的图像与文本表示。多级注意力模型被集成到一个端到端可训练的CNN-RNN架构中,以突出有意义的文本词与图像区域。我们首先利用TieNet,通过使用从相关报告中提取的图像特征与文本嵌入对胸部X光进行分类。所提出的自动标注框架在为我们的手工标注评估数据集分配疾病标签时达到了高准确度(平均AUC超过0.9)。此外,我们将TieNet转化为一个胸部X光报告系统。它模拟报告过程,并可同时输出疾病分类与初步报告。在一个未见过的手工标注数据集(OpenI)上,分类结果相较最先进的基线显著提升(平均AUC提高6%)。
引用
@article{arxiv.1801.04334,
title = {TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reporting in Chest X-rays},
author = {Xiaosong Wang and Yifan Peng and Le Lu and Zhiyong Lu and Ronald M. Summers},
journal= {arXiv preprint arXiv:1801.04334},
year = {2018}
}
备注
v1: Main paper + supplementary material