ReXrank：面向 AI 驱动放射科学报告生成的公开排行榜
计算机视觉与模式识别
2024-11-25 v1 人工智能
计算与语言
摘要
AI 模型在胸部 X 光放射科学报告自动生成方面已显示出巨大潜力，但缺乏客观评估其性能的标准化基准。为此，我们提出 ReXrank，https://rexrank.ai，一个面向 AI 放射科学报告生成的公开排行榜和挑战。我们的框架包含 ReXGradient，由 10,000 例研究构成的最大测试数据集，以及用于报告生成评估的三个公开数据集（MIMIC-CXR、IU-Xray、CheXpert Plus）。ReXrank 采用 8 项评估指标，分别评估仅生成 findings 部分的模型以及同时生成 findings 和 impressions 部分的模型。通过提供这个标准化评估框架，ReXrank 使模型性能之间得以有意义的比较，并为其在不同临床环境中的鲁棒性提供关键见解。除了当前针对胸部 X 光之外，ReXrank 的框架为医学成像全面自动化报告评估奠定了基础。
引用
@article{arxiv.2411.15122,
title = {ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation},
author = {Xiaoman Zhang and Hong-Yu Zhou and Xiaoli Yang and Oishi Banerjee and Julián N. Acosta and Josh Miller and Ouwen Huang and Pranav Rajpurkar},
journal= {arXiv preprint arXiv:2411.15122},
year = {2024}
}