基于多视图图像融合与医学概念增强的放射学报告自动生成
图像与视频处理
2019-07-24 v2 计算机视觉与模式识别
多媒体
摘要
生成放射学报告在实践中耗时且需要丰富的专业知识。因此，可靠的放射学报告自动生成备受期待，以缓解工作负担。尽管深度学习技术已成功应用于图像分类与图像描述任务，放射学报告生成在理解和关联复杂医学视觉内容与准确自然语言描述方面仍具挑战。此外，包含配对医学图像与报告的开放获取数据集的数据规模仍非常有限。为应对这些实际挑战，我们提出一种生成式编码器-解码器模型，并聚焦于胸部 X 光图像与报告，具如下改进。首先，我们用大量胸部 X 光图像预训练编码器以准确识别 14 种常见放射学征象，同时通过强制跨视图一致性利用多视图图像。其次，我们基于句子级注意力机制以晚期融合方式合成多视图视觉特征。此外，为以描述性语义丰富解码器并强制确定性医学相关内容（如器官或诊断的提及）的正确性，我们基于训练数据中的放射学报告提取医学概念，并微调编码器以从 X 光图像中提取最频繁的医学概念。此类概念通过词级注意力模型与每个解码步骤融合。在印第安纳大学胸部 X 光数据集上的实验结果表明，所提模型相较其他基线方法取得了最先进的性能。
引用
@article{arxiv.1907.09085,
title = {Automatic Radiology Report Generation based on Multi-view Image Fusion and Medical Concept Enrichment},
author = {Jianbo Yuan and Haofu Liao and Rui Luo and Jiebo Luo},
journal= {arXiv preprint arXiv:1907.09085},
year = {2019}
}