RadReason：基于原因和子评分的放射科学报告评估指标
计算与语言
2025-08-22 v1 人工智能
摘要
评估自动生成的放射科学报告仍是一个根本性挑战，因为缺乏以临床为基础、可解释且细粒度的指标。现有方法要么产生粗糙的整体评分，要么依赖不透明的黑箱模型，限制了其在实际临床工作流程中的实用性。我们引入 RadReason，一个用于放射科学报告的新型评估框架，该框架不仅输出跨六种临床定义错误类型的细粒度子评分，还生成解释每个评分依据的可读 justifications。我们的方法基于 Group Relative Policy Optimization，并包含两个关键创新：(1)子评分动态加权，根据实时 F1 统计数据自适应优先考虑临床上具有挑战性的错误类型；(2)多数指导优势比例化，基于子评分一致性推导的提示难度调整策略梯度更新。通过这些组件，我们实现了更稳定的优化和更好的与专家临床判断的一致性。在 ReXVal 数据集上进行的实验表明，RadReason 在所有先前离线指标中均超越了，并与 GPT-4 基于的评估保持持平，而且具有可解释性、成本效益高，适合临床部署。代码将在发表后公开。
引用
@article{arxiv.2508.15464,
title = {RadReason: Radiology Report Evaluation Metric with Reasons and Sub-Scores},
author = {Yingshu Li and Yunyi Liu and Lingqiao Liu and Lei Wang and Luping Zhou},
journal= {arXiv preprint arXiv:2508.15464},
year = {2025}
}