动态图增强对比学习用于胸部X光报告生成
计算机视觉与模式识别
2023-03-21 v1
摘要
自动放射学报告生成具有缓解放射科医生繁重工作量和改进诊断解读的重大临床潜力。近来，研究者利用医学知识图谱增强数据驱动的神经网络，以消除该任务中严重的视觉与文本偏置。此类图的结构通过使用疾病主题标签经通用知识形成的临床依赖关系来利用，且通常在训练过程中不更新。因此，固定图无法保证最恰当的知识范围并限制了有效性。为克服该局限，我们提出一种具有动态结构与节点的知识图谱，结合对比学习以促进医学报告生成，命名为DCL。具体而言，我们图的基础结构由通用知识预构建；随后我们探索从检索到的报告中提取的特异性知识，以自底向上的方式添加额外节点或重定义其关系。每个图像特征在送入解码器模块生成报告前，均与其自身更新后的图相融合。最后，本文引入图像-报告对比损失与图像-报告匹配损失，以更好地表征视觉特征与文本信息。在IU-Xray和MIMIC-CXR数据集上的评估表明，我们的DCL在这两个基准上优于先前的最先进模型。
引用
@article{arxiv.2303.10323,
title = {Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation},
author = {Mingjie Li and Bingqian Lin and Zicong Chen and Haokun Lin and Xiaodan Liang and Xiaojun Chang},
journal= {arXiv preprint arXiv:2303.10323},
year = {2023}
}
备注
Accepted by CVPR 2023. Project page: https://github.com/mlii0117/DCL