Fleming-R1: 通过强化学习实现专家水平的医学推理
摘要
虽然大型语言模型在医学应用中显示出前景，但要实现专家水平的临床推理仍具有挑战，这需要准确的答案和透明的推理过程。为此，我们引入 Fleming-R1，一个用于可验证医学推理的模型，通过 three 项互补创新来实现。首先，我们的 Reasoning-Oriented Data Strategy (RODS) 将精选的医学 QA 数据集与知识图谱引导的合成相结合，以提高对 underrepresented 疾病、药物和 multi-hop 推理链的覆盖。其次，我们采用 Chain-of-Thought (CoT) cold start 从教师模型中蒸馏出高质量的推理轨迹，建立 robust 的推理先验。第三，我们实施一个 two-stage Reinforcement Learning from Verifiable Rewards (RLVR) 框架，使用 Group Relative Policy Optimization，不仅整合核心推理技能，还通过 adaptive hard-sample mining 针对 persistent failure modes 进行优化。在 diverse 医学基准测试中，Fleming-R1 提供了 substantial 参数高效的改进：7B 变体超过 much 更大的基线，while 32B 模型实现 near-parity 与 GPT-4o 并持续优于 strong open-source 备选方案。这些结果表明，结构化数据设计、reasoning-oriented 初始化和可验证强化学习可以推动临床推理超越 simple accuracy 优化。我们公开发布 Fleming-R1 以促进 transparent、可重复的、可审计的医学 AI 进展，使其能够在 high-stakes 临床环境中安全部署。
引用
@article{arxiv.2509.15279,
title = {Fleming-R1: Toward Expert-Level Medical Reasoning via Reinforcement Learning},
author = {Chi Liu and Derek Li and Yan Shu and Robin Chen and Derek Duan and Teng Fang and Bryan Dai},
journal= {arXiv preprint arXiv:2509.15279},
year = {2025}
}