图增强拓扑内化的双流分类器用于医学报告生成
计算机视觉与模式识别
2026-05-05 v1
摘要
自动化医学报告生成（MRG）对于缓解放射科医生的工作负担和提升诊断效率具有重要价值。然而，主流方法通常将各种胸部异常视为孤立的分类目标，这种范式常常忽略疾病共现的内在结构，难以将医学拓扑结构明确转化为数据相关性，从而限制了模型在复杂或微妙病灶上的推理能力。为此，我们提出了一种名为 GDMRG（Graph-Augmented Dual-Stream Medical Report Generation with Topological Internalization）的框架。我们的框架引入了拓扑知识内化模块（TKI），该模块利用图卷积网络（GCN）基于全球疾病共现先验生成显式的参数化权矩阵，从而实现高效的拓扑知识注入，而无需依赖外部检索机制。在此基础上，我们构建了一个双流分类系统：主干分支在拓扑约束下生成离散诊断提示，而辅助分支采用非对称优化策略，动态校准高度不平衡样本的决策边界。同时，为在诊断与视觉定位之间建立逻辑闭环，我们设计了一种诊断驱动的诊断引导空间注意力（DGSA），该机制利用高维临床语义对视觉编码器进行校准，以减轻特征幻觉。针对 MIMIC-CXR 数据集上的全面实验表明，GDMRG 在保持自然语言流畅性的同时，实现了具竞争力的临床效能（CE），并在 IU X-Ray 数据集上表现出稳健的零样本泛化能力。总之，本工作提出了一种集成且可解释的医学报告生成范式。
引用
@article{arxiv.2605.02376,
title = {Graph-Augmented Topological Internalization with Dual-Stream Classifiers for Medical Report Generation},
author = {Moyu Tang and Chupei Tang and Junxiao Kong and Di Wang and Tianchi Lu},
journal= {arXiv preprint arXiv:2605.02376},
year = {2026}
}