面向自动生成胸X线报告的短语 grounding 事实核查

随着大规模视觉语言模型（VLM）的出现，现在有可能为胸X线图像生成逼真的放射术报告。然而，这些报告在推理期间产生的事实错误和幻觉，仍阻碍了其在临床中的应用。本文提出了一种新型短语 grounding 事实核查模型（FC模型），用于检测自动生成胸部放射术报告中发现事项及其指示位置的错误。具体而言，我们通过扰动地面报告中发现事项及其位置，从而从大型合成数据集中模拟报告中的错误，形成包含图像的真实与虚假发现-位置配对。随后，在该数据集上训练一个新的多标签跨模态对比回归网络。我们 presenting的结果表明，该方法在多个X-ray数据集上的finding veracity prediction和localization准确性均表现出鲁棒性。我们还展示了其在检测SOTA报告生成器在多个数据集上的报告中的错误方面的有效性，实现了与基于地面真值的验证之间的0.997的 concordance correlation coefficient，从而指向其在放射术工作流程中的临床推断实用性。