用于胸部X光自动报告生成的发现感知解剖令牌
计算机视觉与模式识别
2023-08-31 v1 计算与语言
摘要
放射学报告任务包括描述和解释放射影像中的医学发现,包括对其位置和外观的描述。放射学报告的自动化方法需要将图像编码为适合输入语言模型的令牌表示。先前的方法通常使用卷积神经网络将图像编码为一系列图像级特征图表示。然而,生成的报告常表现出逼真的风格但准确性不足。受通用领域图像字幕近期工作的启发(其中每个视觉令牌对应于图像中检测到的对象),我们探究使用对应于解剖结构的局部令牌是否能提高生成报告的质量。我们引入了一种Faster R-CNN的新颖适配,其中在解剖结构定位期间提取的候选边界框上执行发现检测。我们使用所得的边界框特征表示作为我们的一组发现感知解剖令牌。这促使提取的解剖令牌包含其所含发现的信息(最终放射学报告任务所需)。在MIMIC-CXR胸部X光图像数据集上评估,我们表明任务感知解剖令牌在集成到自动报告生成流程中时给出了最先进的性能,产生具有改进临床准确性的生成报告。
引用
@article{arxiv.2308.15961,
title = {Finding-Aware Anatomical Tokens for Chest X-Ray Automated Reporting},
author = {Francesco Dalla Serra and Chaoyang Wang and Fani Deligianni and Jeffrey Dalton and Alison Q. O'Neil},
journal= {arXiv preprint arXiv:2308.15961},
year = {2023}
}