RadEval：放射学文本评估框架
计算与语言
2025-09-23 v1
摘要
我们介绍 RadEval，一个用于评估放射学文本的统一、开源框架。RadEval 整合了多样化的指标，涵盖经典 n-gram 重合度（BLEU、ROUGE）、情境性措施（BERTScore）以及临床概念基准得分（F1CheXbert、F1RadGraph、RaTEScore、SRR-BERT、TemporalEntityF1）和高级 LLM 评估器（GREEN）。我们细化并标准化了实现方式，扩展 GREEN 支持多种成像模态并采用更轻量模型，预训练领域特定放射学编码器，展示其在零样态检索任务中表现优异。我们还发布了一个包含 450 多个临床显著错误标签的丰富标注专家数据集，展示不同指标与放射科医师判断之间的关联性。最后，RadEval 提供统计测试工具和跨多个公开数据集的基线模型评估，促进放射学报告生成中的可重复性和稳健基准测试。
引用
@article{arxiv.2509.18030,
title = {RadEval: A framework for radiology text evaluation},
author = {Justin Xu and Xi Zhang and Javid Abderezaei and Julie Bauml and Roger Boodoo and Fatemeh Haghighi and Ali Ganjizadeh and Eric Brattain and Dave Van Veen and Zaiqiao Meng and David Eyre and Jean-Benoit Delbrouck},
journal= {arXiv preprint arXiv:2509.18030},
year = {2025}
}
备注
Accepted to EMNLP 2025 Demo track - Oral