一种用于放射学报告生成的医学语义辅助 Transformer
计算机视觉与模式识别
2022-08-23 v1
摘要
自动化放射学报告生成是一项具有挑战性的跨域任务，旨在自动生成准确且语义连贯的报告来描述医学图像。尽管该领域近期取得了进展，但至少在以下方面仍存在诸多挑战。首先，放射学图像彼此非常相似，因此难以像许多现有方法那样使用 CNN 作为视觉特征提取器来捕捉细粒度视觉差异。此外，语义信息已被广泛用于提升生成任务（如图像描述）的性能，但现有方法常未能提供有效的医学语义特征。为解决这些问题，本文中我们提出一种记忆增强的稀疏注意力模块，利用双线性池化在产生稀疏注意力的同时捕捉输入细粒度图像特征之间的高阶交互。而且，我们引入一种新颖的医学概念生成网络（MCGN）来预测细粒度语义概念，并将其作为引导纳入报告生成过程。我们提出的方法在最近发布的最大基准 MIMIC-CXR 上展现出有前景的性能，在图像描述和医学报告生成上优于多种最先进方法。
引用
@article{arxiv.2208.10358,
title = {A Medical Semantic-Assisted Transformer for Radiographic Report Generation},
author = {Zhanyu Wang and Mingkang Tang and Lei Wang and Xiu Li and Luping Zhou},
journal= {arXiv preprint arXiv:2208.10358},
year = {2022}
}
备注
MICCAI 2022