RaDialog：用于放射学报告生成与对话辅助的大型视觉-语言模型

能够为给定医学图像生成并讨论临床正确放射学报告的对话式 AI 工具具有变革放射学的潜力。这种人在回路中的放射学助手可以促进协作诊断过程，从而节省时间并提高报告质量。为实现这一目标，我们引入了 RaDialog，这是首个经过充分评估且公开可用的用于放射学报告生成与交互式对话的大型视觉-语言模型。RaDialog 有效地将视觉图像特征与结构化病理发现同大型语言模型（LLM）相集成，同时使用参数高效微调将其适配到专业领域。为保持底层 LLM 的对话能力，我们提出了一个全面、半自动标注的、以图像为依据的胸部 X 光放射学任务指令数据集。通过使用该数据集进行训练，我们的方法在报告生成中达到了最先进的临床正确性，并展现出在纠正报告和回答问题等交互式任务中的出色能力，可作为迈向临床对话系统的基础性一步。我们的代码已在 github 上提供：https://github.com/ChantalMP/RaDialog。