基于生成式预训练 Transformer 的医学图像描述生成
计算机视觉与模式识别
2022-09-29 v1 人工智能
摘要
自动临床描述生成问题是指所提模型将 frontal chest X-Ray 扫描分析与来自放射学记录的结构化患者信息相结合。我们结合两个语言模型，Show-Attend-Tell 和 GPT-3，以生成全面且具描述性的放射学记录。所提模型组合生成包含所发现病变基本信息、其位置以及在原始 X-Ray 扫描上定位各病变的 2D 热图（heatmaps）的文本摘要。所提模型在两个医学数据集 Open-I、MIMIC-CXR 和通用数据集 MS-COCO 上进行了测试。使用自然语言评估指标衡量的结果证明了其对胸部 X-Ray 图像描述生成的有效适用性。
引用
@article{arxiv.2209.13983,
title = {Medical Image Captioning via Generative Pretrained Transformers},
author = {Alexander Selivanov and Oleg Y. Rogov and Daniil Chesakov and Artem Shelmanov and Irina Fedulova and Dmitry V. Dylov},
journal= {arXiv preprint arXiv:2209.13983},
year = {2022}
}
备注
13 pages, 3 figures, The work was completed in 2021