中文

CXPMRG-Bench:基于CheXpert Plus数据集的X光医学报告生成预训练与基准测试

计算机视觉与模式识别 2024-10-02 v1 人工智能 机器学习

摘要

基于X光图像的医学报告生成(MRG)是人工智能领域的一个关键方向,可以显著减轻诊断负担和患者等待时间。尽管取得了显著进展,但我们认为由于基准数据集的限制以及现有大模型在该专业领域能力增强不足,该任务已遇到瓶颈。具体来说,最近发布的CheXpert Plus数据集缺乏比较性评估算法及其结果,仅提供数据集本身。这种情况使得后续算法的训练、评估和比较变得困难。因此,我们在CheXpert Plus数据集上对现有的主流X光报告生成模型和大语言模型(LLM)进行了全面的基准测试。我们相信,所提出的基准测试可以为后续算法提供坚实的比较基础,并作为研究人员快速掌握该领域最先进模型的指南。更重要的是,我们提出了一种用于X光图像报告生成的大模型,采用了多阶段预训练策略,包括自监督自回归生成、X光-报告对比学习和监督微调。大量实验结果表明,基于Mamba的自回归预训练能有效编码X光图像,而图像-文本对比预训练进一步对齐了特征空间,取得了更好的实验结果。源代码可在\url{https://github.com/Event-AHU/Medical_Image_Analysis}找到。

关键词

引用

@article{arxiv.2410.00379,
  title  = {CXPMRG-Bench: Pre-training and Benchmarking for X-ray Medical Report Generation on CheXpert Plus Dataset},
  author = {Xiao Wang and Fuling Wang and Yuehang Li and Qingchuan Ma and Shiao Wang and Bo Jiang and Chuanfu Li and Jin Tang},
  journal= {arXiv preprint arXiv:2410.00379},
  year   = {2024}
}

备注

In Peer Review