R2GenGPT：基于冻结LLM的放射学报告生成
计算机视觉与模式识别
2023-11-07 v2
摘要
大语言模型（LLM）应用于各类语言任务时一贯展现出卓越的泛化能力。然而，由于LLM与放射学报告生成（R2Gen）任务间固有的模态差异，充分发挥LLM在R2Gen上的潜力仍具挑战。为有效弥合这一差距，我们提出R2GenGPT，一种利用高效视觉对齐模块将视觉特征与LLM的词嵌入空间对齐的新方案。这一创新方法使原本静态的LLM能够无缝整合并处理图像信息，标志着R2Gen性能优化的进步。R2GenGPT具有以下优势：首先，通过仅训练轻量视觉对齐模块而冻结LLM全部参数，达到最先进（SOTA）性能；其次，展现出高训练效率，因仅需训练极少参数即可快速收敛。通过delta tuning，我们的模型仅训练5M参数（仅占总参数量的0.07%）即取得接近SOTA水平的性能。我们的代码见 https://github.com/wang-zhanyu/R2GenGPT。
引用
@article{arxiv.2309.09812,
title = {R2GenGPT: Radiology Report Generation with Frozen LLMs},
author = {Zhanyu Wang and Lingqiao Liu and Lei Wang and Luping Zhou},
journal= {arXiv preprint arXiv:2309.09812},
year = {2023}
}
备注
Accepted by meta-radiology