IIHT：基于图像到指标分层Transformer的医学报告生成
计算机视觉与模式识别
2023-08-11 v1 计算与语言
机器学习
摘要
自动化医学报告生成在医学分析中日益重要。它可以生成计算机辅助诊断描述，从而显著减轻医生的工作负担。受神经机器翻译和图像字幕巨大成功的启发，已有多种深度学习方法被提出用于医学报告生成。然而，由于医学数据固有的特性，包括数据不平衡以及报告序列的长度与相关度，现有方法生成的报告可能表现出语言流畅性但缺乏足够的临床准确性。本文中，我们提出一种用于医学报告生成的图像到指标分层Transformer(IIHT)框架。它由三个模块组成，即分类器模块、指标扩展模块和生成器模块。分类器模块首先从输入医学图像中提取图像特征，并生成疾病相关指标及其对应状态。疾病相关指标随后被用作指标扩展模块的输入，结合“数据-文本-数据”策略。基于Transformer的生成器进而利用这些提取的特征以及图像特征作为辅助信息来生成最终报告。此外，所提IIHT方法便于放射科医生在真实场景中修改疾病指标，并将操作整合进指标扩展模块以实现流畅且准确的医学报告生成。在多种评估指标下与最先进方法的广泛实验和比较证明了所提方法的优异性能。
引用
@article{arxiv.2308.05633,
title = {IIHT: Medical Report Generation with Image-to-Indicator Hierarchical Transformer},
author = {Keqiang Fan and Xiaohao Cai and Mahesan Niranjan},
journal= {arXiv preprint arXiv:2308.05633},
year = {2023}
}