知识驱动的编码、检索、改写用于医学图像报告生成
计算机视觉与模式识别
2019-03-26 v1
摘要
生成冗长且语义连贯的报告以描述医学图像,在弥合视觉与语言模态、融入医学领域知识以及生成真实准确的描述方面提出了巨大挑战。我们提出一种新颖的知识驱动编码、检索、改写(KERP)方法,该方法将传统的基于知识与检索的方法与现代基于学习的方法相协调,以实现准确且鲁棒的医学报告生成。具体而言,KERP 将医学报告生成分解为显式的医学异常图学习与随后的自然语言建模。KERP 首先采用编码模块,通过融入先验医学知识将视觉特征转换为结构化的异常图;随后是检索模块,基于检测到的异常检索文本模板;最后是改写模块,根据特定病例重写模板。KERP 的核心是一个所提出的通用实现单元——图变换器(GTR),它能在知识图、图像与序列等多个领域图结构数据之间动态转换高层语义。实验表明,所提方法生成了结构化且鲁棒的报告,支持准确的异常描述与可解释的注意力区域,在两个医学报告基准上取得了最先进的(state-of-the-art)结果,具有最佳的医学异常与疾病分类准确率以及改进的人工评测表现。
引用
@article{arxiv.1903.10122,
title = {Knowledge-driven Encode, Retrieve, Paraphrase for Medical Image Report Generation},
author = {Christy Y. Li and Xiaodan Liang and Zhiting Hu and Eric P. Xing},
journal= {arXiv preprint arXiv:1903.10122},
year = {2019}
}