基于多视图纵向数据的增强对比学习用于胸部X光报告生成
计算机视觉与模式识别
2025-11-04 v1 人工智能
摘要
自动化放射学报告生成是有效缓解放射科医生工作负担的有效方法。然而，大多数现有方法主要关注单张或固定视图的图像来建模当前疾病状况，这限制了诊断准确性并忽略了疾病进程。虽然一些方法利用纵向数据来跟踪疾病进程，但它们仍然依赖单张图像来分析当前访问情况。为此，我们提出了基于多视图纵向数据的增强对比学习以促进胸部X光报告生成的方法，称为MLRG。具体而言，我们引入了一种多视图纵向对比学习方法，将来自当前多视图图像的空间信息和来自纵向数据的时序信息相结合。该方法还利用放射学报告固有的时空信息来监督视觉和文本表示的预训练。随后，我们提出了一种标记缺失编码技术，灵活处理患者特定的先验知识缺失问题，使模型能够基于可用先验知识生成更准确的放射学报告。在MIMIC-CXR、MIMIC-ABN和Two-view CXR数据集上的大量实验表明，我们的MLRG在最新SOTA方法之上取得了显著改进：在MIMIC-CXR上实现了2.3%的BLEU-4提升，在MIMIC-ABN上实现了5.5%的F1分数提升，在Two-view CXR上实现了2.7%的F1 RadGraph提升。
引用
@article{arxiv.2502.20056,
title = {Enhanced Contrastive Learning with Multi-view Longitudinal Data for Chest X-ray Report Generation},
author = {Kang Liu and Zhuoqi Ma and Xiaolu Kang and Yunan Li and Kun Xie and Zhicheng Jiao and Qiguang Miao},
journal= {arXiv preprint arXiv:2502.20056},
year = {2025}
}
备注
Accepted by CVPR 2025