利用热启动改进胸部X光报告生成
计算机视觉与模式识别
2023-08-23 v2
摘要
根据患者的胸部X光片(CXRs)自动生成报告是减轻临床工作负担和改善患者护理的一种有前景的方案。然而,当前的CXR报告生成器——主要是编码器到解码器模型——缺乏可部署于临床环境的诊断准确性。为改进CXR报告生成,我们研究了利用近期开源计算机视觉与自然语言处理检查点(如Vision Transformer (ViT)和PubMedBERT)对编码器和解码器进行热启动。为此,每个检查点在MIMIC-CXR和IU X-Ray数据集上进行了评估。我们的实验研究表明,卷积视觉Transformer (CvT) ImageNet-21K和蒸馏生成式预训练Transformer 2 (DistilGPT2)检查点分别最适合用于编码器和解码器的热启动。与最先进的( Transformer Progressive)相比,CvT2DistilGPT2在CE F-1上提升了8.3%,在BLEU-4上提升了1.8%,在ROUGE-L上提升了1.6%,在METEOR上提升了1.0%。CvT2DistilGPT2生成的报告与放射科医生报告的相似度高于以往方法。这表明利用热启动可改进CXR报告生成。CvT2DistilGPT2的代码和检查点可在 https://github.com/aehrc/cvt2distilgpt2 获取。
引用
@article{arxiv.2201.09405,
title = {Improving Chest X-Ray Report Generation by Leveraging Warm Starting},
author = {Aaron Nicolson and Jason Dowling and Bevan Koopman},
journal= {arXiv preprint arXiv:2201.09405},
year = {2023}
}