MAIRA-2：面向定位的放射学报告生成
计算与语言
2024-09-23 v2 计算机视觉与模式识别
摘要
放射学报告是一项复杂任务，需要详细的医学图像理解和精确的语言生成，生成式多模态模型为此提供了有前景的解决方案。然而，要影响临床实践，模型必须实现高水平的可验证性能和实用性。我们通过纳入对图像上 individual finding 的局部定位——即我们称之为基于定位的报告生成——来增强自动化报告生成的实用性，并通过纳入真实报告背景作为输入来提升性能。我们设计了一个新型评估框架（RadFact），利用大语言模型（LLM）的逻辑推理能力，对报告的正确性和完整性在 individual sentence 级别进行量化，同时支持新的基于定位的报告任务。我们开发了 MAIRA-2，这是一个大型放射学特定多模态模型，旨在生成胸部 X 光报告，无论是否包含定位。MAIRA-2 在现有报告生成基准测试中实现了最先进的性能，并确立了基于定位的报告生成这一新任务。
引用
@article{arxiv.2406.04449,
title = {MAIRA-2: Grounded Radiology Report Generation},
author = {Shruthi Bannur and Kenza Bouzid and Daniel C. Castro and Anton Schwaighofer and Anja Thieme and Sam Bond-Taylor and Maximilian Ilse and Fernando Pérez-García and Valentina Salvatelli and Harshita Sharma and Felix Meissen and Mercy Ranjit and Shaury Srivastav and Julia Gong and Noel C. F. Codella and Fabian Falck and Ozan Oktay and Matthew P. Lungren and Maria Teodora Wetscherek and Javier Alvarez-Valle and Stephanie L. Hyland},
journal= {arXiv preprint arXiv:2406.04449},
year = {2024}
}
备注
72 pages, 21 figures. v2 updates the model and adds results on the PadChest-GR dataset