DAMPER：基于粗粒度MeSH对齐与细粒度超图匹配的双阶段医学报告生成框架
计算机视觉与模式识别
2024-12-24 v2
摘要
医学报告生成对于临床诊断和患者管理至关重要，旨在基于医学影像总结诊断和建议。然是，现有方法往往忽视报告书写过程中涉及的临床管线，其中医生通常先进行快速概览，然后进行详细检查。此外，当前的对齐方法可能导致对齐关系不一致。为此，我们提出DAMPER，一种模仿报告书写临床管线的双阶段框架。在第一阶段，采用MeSH引导的粗粒度对齐（MCG）阶段，将胸部X射线（CXR）图像特征与医学主题标题（MeSH）特征对齐，以生成整体印象的粗略关键词表示。在第二阶段，采用超图增强的细粒度对齐（HFG）阶段为图像块和报告注释构建超图，模型化每种模态内的高阶关系，并进行超图匹配以捕获图像区域与文本短语之间的语义相关性。最后，将粗粒度视觉特征、生成的MeSH表示和视觉超图特征输入到报告解码器中，以生成最终的医学报告。在公共数据集上进行的大量实验表明，DAMPER在生成全面且准确的医学报告方面有效，能够在各种评估指标上超越最先进的方法。
引用
@article{arxiv.2412.14535,
title = {DAMPER: A Dual-Stage Medical Report Generation Framework with Coarse-Grained MeSH Alignment and Fine-Grained Hypergraph Matching},
author = {Xiaofei Huang and Wenting Chen and Jie Liu and Qisheng Lu and Xiaoling Luo and Linlin Shen},
journal= {arXiv preprint arXiv:2412.14535},
year = {2024}
}