用于放射学报告生成的自适应全局-局部特征增强
计算机视觉与模式识别
2022-11-22 v1 人工智能
摘要
自动化放射学报告生成旨在自动生成医学图像的详细描述，可极大缓解放射科医生的工作负担并为偏远地区提供更好的医疗服务。现有多数工作关注医学图像的整体印象，未能利用重要解剖信息。然而在实际临床实践中，放射科医生通常先定位重要解剖结构，再寻找特定结构中的异常征象并推断潜在疾病。本文提出一种新颖框架 AGFNet，动态融合全局与解剖区域特征以生成多粒度放射学报告。首先，我们提取输入胸部 X 光（CXR）的重要解剖区域特征与全局特征。随后，以区域特征与全局特征为输入，所提自适应融合门模块可动态融合多粒度信息。最后，描述生成器通过多粒度特征生成放射学报告。实验结果表明，我们的模型在两个基准数据集 IU X-Ray 与 MIMIC-CXR 上均达到了最先进性能。进一步分析也证明，我们的模型能够利用来自放射学图像与文本的多粒度信息，从而帮助生成更准确的报告。
引用
@article{arxiv.2211.11380,
title = {Self adaptive global-local feature enhancement for radiology report generation},
author = {Yuhao Wang and Kai Wang and Xiaohong Liu and Tianrun Gao and Jingyue Zhang and Guangyu Wang},
journal= {arXiv preprint arXiv:2211.11380},
year = {2022}
}