面向胸部 X 光报告生成的疾病感知双阶段框架
计算机视觉与模式识别
2025-11-18 v1
摘要
从胸部 X 光生成放射学报告是人工智能领域的一个重要任务，具有显著潜力，可大幅减少放射科医师的工作负担并缩短患者等待时间。尽管近期进展取得显著成果，但现有方法在视觉表征方面缺乏足够的疾病感知，以及不足够的视觉-语言对齐，难以满足医学图像分析的专门要求。结果，这些模型通常忽略胸部 X 光上的关键病理特征，难以生成临床上准确的报告。为解决这些限制，我们提出一种新型疾病感知双阶段框架用于胸部 X 光报告生成。在阶段1，我们的模型通过交叉注意力机制和多标签分类学习与特定病种类别对应的疾病感知语义标记(DAST)，同时通过对比学习实现视觉和语言表征的对齐。在阶段2，我们引入疾病-视觉注意力融合(DVAF)模块将疾病感知表征与视觉特征集成，以及双模态相似性检索(DMSR)机制组合视觉和疾病特定相似性，以检索相关示例，为报告生成提供上下文指导。在 CheXpert Plus、IU X-ray 和 MIMIC-CXR 等基准数据集上的大量实验表明，我们的疾病感知框架在胸部 X 光报告生成中实现了最先进的性能，在临床准确性和语言质量方面均取得显著提升。
引用
@article{arxiv.2511.12259,
title = {A Disease-Aware Dual-Stage Framework for Chest X-ray Report Generation},
author = {Puzhen Wu and Hexin Dong and Yi Lin and Yihao Ding and Yifan Peng},
journal= {arXiv preprint arXiv:2511.12259},
year = {2025}
}
备注
Accepted at AAAI 2026