医学报告生成：基于层次任务结构的跨模态因果干预框架
计算机视觉与模式识别
2026-05-15 v2
摘要
医学报告生成（MRG）是现代医学诊断的关键组成部分，通过自动从放射学图像生成报告来减轻放射科医生的负担。然而，针对病灶描述可靠的MRG模型面临三个主要挑战： insufficient 的领域知识理解、文本-视觉实体嵌入对齐不足以及来自跨模态偏置的虚假关联。以往工作仅解决单一挑战，而本文通过一种新颖的层次任务分解方法来解决这三个问题，提出了HTSC-CIF框架。HTSC-CIF将这三个挑战分类为低、中、高三个层次任务：1）低层次：将医疗实体特征与空间位置对齐，以增强视觉编码器的领域知识；2）中层次：使用前缀语言建模（文本）和掩码图像建模（图像）通过双向引导提升跨模态对齐；3）高层次：引入跨模态因果干预模块（通过前门干预）以减少混杂因素并提高可解释性。大量实验表明，HTSC-CIF的有效性显著优于当前最先进（SOTA）的MRG方法。代码将在论文接受后公开。
引用
@article{arxiv.2511.02271,
title = {Medical Report Generation: A Hierarchical Task Structure-Based Cross-Modal Causal Intervention Framework},
author = {Yucheng Song and Yifan Ge and Junhao Li and Zhining Liao and Zhifang Liao},
journal= {arXiv preprint arXiv:2511.02271},
year = {2026}
}
备注
Due to issues with the training epochs and training strategy in our paper, there are numerical errors in the result comparison table presented in the preprint. Therefore, we have decided to withdraw the manuscript for further revision