FineRadScore: 一种逐行生成带严重性评分修正的放射学报告评估技术
计算与语言
2024-08-13 v2
摘要
当前评估生成的胸部X光片（CXR）报告的金标准是通过放射科医生注释。然而，这一过程可能极其耗时且成本高昂，尤其是在评估大量报告时。在这项工作中，我们提出了FineRadScore，一种基于大语言模型（LLM）的自动化评估指标，用于评估生成的CXR报告。给定一份候选报告和一份真实报告，FineRadScore给出从候选报告到真实报告所需的最少逐行修正次数。此外，FineRadScore为每次修正提供错误严重性评级，并生成解释为何需要修正的评论。我们证明了FineRadScore的修正和错误严重性评分与放射科医生的意见一致。我们还表明，当用于整体判断报告质量时，FineRadScore与放射科医生以及当前最先进的自动化CXR评估指标的一致性相当。最后，我们分析了FineRadScore的不足，为未来改进提供建议。
引用
@article{arxiv.2405.20613,
title = {FineRadScore: A Radiology Report Line-by-Line Evaluation Technique Generating Corrections with Severity Scores},
author = {Alyssa Huang and Oishi Banerjee and Kay Wu and Eduardo Pontes Reis and Pranav Rajpurkar},
journal= {arXiv preprint arXiv:2405.20613},
year = {2024}
}