基于反事实解释的对比学习用于放射学报告生成

由于解剖学内容的共性，放射学图像及其相应报告表现出高度相似性。这种固有的数据偏差可能使自动报告生成模型倾向于学习纠缠和虚假的表征，从而导致误诊报告。为解决这些问题，我们提出了一种新颖的基于反事实解释的框架（CoFE）用于放射学报告生成。反事实解释是理解算法决策如何通过询问“如果……会怎样”场景而改变的有力工具。通过利用这一概念，CoFE 可以通过对比事实图像和反事实图像的表征来学习非虚假的视觉表征。具体来说，我们通过在正负样本之间交换图像块，直到预测的诊断结果发生转变，来推导反事实图像。其中，正负样本在语义上最相似但具有不同的诊断标签。此外，CoFE 采用可学习的提示来高效微调预训练的大型语言模型，将事实和反事实内容封装起来，以提供更具泛化性的提示表征。在两个基准数据集上的大量实验表明，利用反事实解释使 CoFE 能够生成语义连贯且事实完整的报告，并在语言生成和临床效能指标上表现更优。