GMAI-VL-R1：利用强化学习提升多模态医学推理能力
计算机视觉与模式识别
2025-04-03 v1
摘要
近期的通用医学人工智能取得了显著进展，但现有模型往往缺乏应用于复杂医学决策所需的推理能力。本文提出了 GMAI-VL-R1，一种通过强化学习（RL）增强的多模态医学推理模型，以提升其推理能力。通过迭代训练，GMAI-VL-R1 优化决策过程，显著提升诊断准确率和临床支持水平。我们还开发了一种推理数据合成方法，通过拒绝抽样生成逐步推理数据，从而进一步提升模型的泛化能力。实验结果表明，经过 RL 训练后，GMAI-VL-R1 在医学图像诊断和视觉问答等任务中表现卓越。虽然该模型在监督微调后仅表现出基本的记忆能力，但 RL 对实现真正的泛化至关重要。我们的工作建立了新的评估基准，为医学推理模型的未来发展铺平了道路。代码、数据和模型将在链接处发布。
引用
@article{arxiv.2504.01886,
title = {GMAI-VL-R1: Harnessing Reinforcement Learning for Multimodal Medical Reasoning},
author = {Yanzhou Su and Tianbin Li and Jiyao Liu and Chenglong Ma and Junzhi Ning and Cheng Tang and Sibo Ju and Jin Ye and Pengcheng Chen and Ming Hu and Shixiang Tang and Lihao Liu and Bin Fu and Wenqi Shao and Xiaowei Hu and Xiangwen Liao and Yuanfeng Ji and Junjun He},
journal= {arXiv preprint arXiv:2504.01886},
year = {2025}
}