病灶引导的可解释少弱样本医学报告生成
计算机视觉与模式识别
2022-11-18 v2 计算与语言
摘要
医学图像广泛用于临床诊断。自动生成可解释的医学报告可减轻放射科医生负担并促进及时诊疗。然而，大多数现有的自动报告生成方法需要充足的标注数据用于训练。此外，所学模型只能为训练类别生成报告，缺乏适应先前未见新颖疾病的能力。为此，我们提出一种病灶引导的可解释少弱样本医学报告生成框架，通过视觉与语义特征对齐学习可见类与新颖类之间的关联，旨在为训练中未观察到的疾病生成医学报告。它集成了以病灶为中心的特征提取器与基于 Transformer 的报告生成模块。具体而言，以病灶为中心的特征提取器检测异常区域，并通过多视角（视觉与词汇）嵌入学习可见类与新颖类之间的关联。随后，检测区域的特征与相应嵌入拼接作为多视角输入送入报告生成模块，用于可解释报告生成，包括文本描述与图像中检测到的相应异常区域。我们在提供可解释标注的数据集 FFA-IR 上开展实验，表明我们的框架在新颖疾病报告生成上优于其他方法。
引用
@article{arxiv.2211.08732,
title = {Lesion Guided Explainable Few Weak-shot Medical Report Generation},
author = {Jinghan Sun and Dong Wei and Liansheng Wang and Yefeng Zheng},
journal= {arXiv preprint arXiv:2211.08732},
year = {2022}
}