RaTEScore：用于放射学报告生成的评估指标
计算与语言
2024-10-24 v2
摘要
本文引入一种新型、面向实体的评估指标，称为放射学报告（Text）评估（RaTEScore），用于评估AI模型生成医学报告的质量。RaTEScore强调关键医学实体，如诊断结果和解剖细节，对复杂医学同义词具有鲁棒性，并且对否定表达式敏感。技术上，我们构建了一个全面的医学命名实体识别数据集RaTE-NER，并训练了专为此目的训练的命名实体识别模型。该模型使我们能够将复杂的放射学报告分解为组成性医学实体。该指标通过比较基于语言模型获得的实体嵌入的相似性来实现，嵌入基于实体类型和与临床意义的相关性进行计算。我们的评估表明，RaTEScore在与人类偏好更接近，既在既有的公开基准上也在我们新提出的RaTE-Eval基准上都得到了验证。
引用
@article{arxiv.2406.16845,
title = {RaTEScore: A Metric for Radiology Report Generation},
author = {Weike Zhao and Chaoyi Wu and Xiaoman Zhang and Ya Zhang and Yanfeng Wang and Weidi Xie},
journal= {arXiv preprint arXiv:2406.16845},
year = {2024}
}
备注
EMNLP 2024