面向报告生成的放射学感知基于模型的评估指标
计算与语言
2023-11-29 v1
摘要
我们提出一种用于机器生成放射学报告的新型自动化评估指标，采用适配放射学领域的成功 COMET 架构。我们训练并发布了四个面向医学的模型检查点，其中一个在放射学知识图谱 RadGraph 上训练。我们的结果显示，我们的指标与 BERTscore、BLEU 和 CheXbert 分数等既有指标具有中度至高度相关性。此外，我们利用公开可用的六位认证放射科医师对 200 份报告集的标注证明，我们的一个检查点与人类判断高度相关。我们也进行了自己的分析，由两位放射科医师对 100 份报告集收集标注。结果表明我们的方法作为放射学专用评估指标的潜在有效性。用于复现我们发现的代码、数据与模型检查点将公开可用。
引用
@article{arxiv.2311.16764,
title = {Radiology-Aware Model-Based Evaluation Metric for Report Generation},
author = {Amos Calamida and Farhad Nooralahzadeh and Morteza Rohanian and Koji Fujimoto and Mizuho Nishio and Michael Krauthammer},
journal= {arXiv preprint arXiv:2311.16764},
year = {2023}
}
备注
9 pages