像放射科医生一样阅读放射影像

自动化放射报告生成旨在生成包含对放射影像丰富、细粒度描述的放射报告。相较于自然图像领域的图像描述，医学图像彼此极为相似，仅在疾病发生上存有微小差异。鉴于这些微小差异在放射报告中的重要性，促使模型更多关注疾病发生的细微区域至关重要。其次，视觉与文本数据偏差问题严重。不仅正常病例占数据集大多数，描述病理改变区域的句子也仅占段落一小部分。最后，生成医学图像报告涉及长文本生成的挑战，需要更多医学知识的专业素养与经验训练。因此，生成此类报告的难度增加。为应对这些挑战，我们提出一种以疾病为导向的检索框架，利用相似报告作为先验知识参考。我们设计了一个事实一致性描述生成器，以生成更准确且事实一致的疾病描述。我们的框架可通过检索由位置和形态学特征组成的疾病导向掩码，从 CXR 数据库中为给定疾病找到最相似报告。通过参考疾病导向的相似报告与视觉特征，事实一致性模型可生成更准确的放射报告。