基于解剖学依据的自动化胸部X光报告事实核查
计算机视觉与模式识别
2024-12-04 v1 人工智能
摘要
随着大规模视觉语言模型的出现，仅以医学图像作为输入，辅以简单的提示，即可生成逼真的放射学报告。然而，由于其在发现描述中存在事实性错误，其实际应用受到限制。在本文中，我们提出了一种用于可解释事实核查的新型模型，该模型能够识别报告中所指出的发现及其位置的错误。具体来说，我们分析了自动化报告方法所犯错误的类型，并从真实数据集中衍生出一个新的合成数据集，该数据集包含图像以及与之配对的真实和虚假的发现及其位置描述。然后，在此数据集上训练一个新的多标签跨模态对比回归网络。我们在各种基准数据集上评估了所得到的事实核查模型及其在纠正由几种最先进的自动化报告工具生成的报告方面的效用，结果表明，通过这种错误检测和纠正，报告质量提高了超过40%。
引用
@article{arxiv.2412.02177,
title = {Anatomically-Grounded Fact Checking of Automated Chest X-ray Reports},
author = {R. Mahmood and K. C. L. Wong and D. M. Reyes and N. D'Souza and L. Shi and J. Wu and P. Kaviani and M. Kalra and G. Wang and P. Yan and T. Syeda-Mahmood},
journal= {arXiv preprint arXiv:2412.02177},
year = {2024}
}