AutoRG-Brain：基于脑 MRI 的 grounded 报告生成
图像与视频处理
2024-07-31 v3 计算机视觉与模式识别
神经元与认知
摘要
放射科医生每日需解读大量图像，并负责生成相应的报告。这种高强度的工作量增加了人为错误的风险，可能导致治疗延迟、医疗成本增加、收入损失和运营效率下降。为应对这些挑战，我们启动了一系列关于基于像素级 grounding 信息的自动报告生成（AutoRG）的工作，首次从脑 MRI 解读系统入手，支持脑部结构描绘、异常定位及生成组织良好的检查发现。我们从以下几个方面做出了贡献：首先，在数据集构建方面，我们发布了包含异常区域分割掩码和手动编写报告的全面数据集，称为 RadGenome-Brain MRI。该数据资源旨在催化 AI 辅助报告生成系统的后续研究与开发。其次，在系统设计方面，我们提出 AutoRG-Brain——首个具备像素级 grounded 视觉线索的脑 MRI 报告生成系统。再次，在评估方面，我们对脑部结构分割、异常定位和报告生成任务进行了量化评估和人类评估，以证明其可靠性和准确性。该系统已集成到实际临床场景中，放射科医生被指示根据我们生成的检查发现和异常分割掩码编写报告。结果表明，该系统提升了初级医生的报告编写能力，使其表现更接近资深医生，从而提升了整体生产力。
引用
@article{arxiv.2407.16684,
title = {AutoRG-Brain: Grounded Report Generation for Brain MRI},
author = {Jiayu Lei and Xiaoman Zhang and Chaoyi Wu and Lisong Dai and Ya Zhang and Yanyong Zhang and Yanfeng Wang and Weidi Xie and Yuehua Li},
journal= {arXiv preprint arXiv:2407.16684},
year = {2024}
}