ReEvalMed：重新思考医学报告评估——将指标与真实世界临床判断对齐
计算与语言
2025-10-02 v1
摘要
自动生成的放射学报告常被现有评估指标高分评价，但临床医生却难以信任。这一差距揭示了当前指标评估生成报告质量的根本性缺陷。我们重新思考这些指标的设计与评估，提出一种以临床为基础的元评估框架。我们定义了一系列基于临床的准则，涵盖临床对齐性和关键指标能力，包括判别性、鲁棒性和单调性。使用一组细粒度的数据集，包含ground truth 与被重写的报告对，标注了错误类型、临床意义标签及解释，我们系统评估了现有指标，揭示了其在解释临床语义方面的局限性，例如无法区分临床显著错误、对无害变体过度惩罚、缺乏对错误严重程度水平的一致性。我们的框架为构建更可靠的临床评估方法提供了指导。
引用
@article{arxiv.2510.00280,
title = {ReEvalMed: Rethinking Medical Report Evaluation by Aligning Metrics with Real-World Clinical Judgment},
author = {Ruochen Li and Jun Li and Bailiang Jian and Kun Yuan and Youxiang Zhu},
journal= {arXiv preprint arXiv:2510.00280},
year = {2025}
}