复杂器官掩码引导的放射学报告生成
计算机视觉与模式识别
2023-11-13 v2 人工智能
摘要
自动报告生成的目标是从给定的单张X射线图像生成临床准确且连贯的短语，从而减轻传统放射学报告书写的工作负担。然而，在真实场景中，放射科医生经常面临根据大量医学图像生成详尽报告的挑战，因此需要从多图像视角进行医学报告生成。本文提出复杂器官掩码引导（称为COMG）的报告生成模型，该模型融合多个器官（如骨骼、肺、心脏和纵隔）的掩码，以提供更详细的信息并引导模型关注这些关键身体区域。具体而言，我们在融合过程中利用各器官对应疾病的先验知识，以增强报告生成过程中的疾病识别阶段。此外，引入余弦相似度损失作为目标函数，以确保跨模态一致性的收敛并利于模型优化。在两个公开数据集上的实验结果表明，COMG在IU-Xray和MIMIC上相对于SOTA模型KiUT的BLEU@4分数分别实现了11.4%和9.7%的提升。代码已公开于https://github.com/GaryGuTC/COMG_model。
引用
@article{arxiv.2311.02329,
title = {Complex Organ Mask Guided Radiology Report Generation},
author = {Tiancheng Gu and Dongnan Liu and Zhiyuan Li and Weidong Cai},
journal= {arXiv preprint arXiv:2311.02329},
year = {2023}
}
备注
12 pages, 7 images. Accepted by WACV 2024