ProMedical：基于显式注入的医学LLM对齐的分层细粒度标准建模
人工智能
2026-04-10 v1
摘要
与高风险医学标准对齐大型语言模型(LLM)仍然是一个重要挑战，主要由于粗粒度偏好信号与临床协议的复杂、多维本质之间的矛盾。为弥合这一差距，我们提出ProMedical，一个基于细粒度临床标准的统一对齐框架。我们首先构建ProMedical-Preference-50k数据集，通过人类在环管道生成数据，将医学指令增强为严格的、医生制定的评分标准。利用该语料库，我们提出显式标准注入范式来训练多维奖励模型。不同于传统标量奖�模型，我们的方法显式地将安全约束与一般专业能力分离，能够在强化学习期间提供精确指导。为严格验证此框架，我们建立ProMedical-Bench，一个基于双盲专家评判的 held-out 评估套件。实证评估表明，通过ProMedical-RM-guided GRPO 优化的 Qwen3-8B 基础模型整体准确率提升22.3%，安全合规性提升21.7%，实际上与专有前沿模型相当。此外，对齐后的策略在外部基准测试中表现出稳健的泛化能力，在UltraMedical 上表现出与最先进模型相当的性能。我们公开发布数据集、奖励模型和基准测试，以促进安全医学对齐领域的可重复研究。
引用
@article{arxiv.2604.08326,
title = {ProMedical: Hierarchical Fine-Grained Criteria Modeling for Medical LLM Alignment via Explicit Injection},
author = {He Geng and Yangmin Huang and Lixian Lai and Qianyun Du and Hui Chu and Zhiyang He and Jiaxue Hu and Xiaodong Tao},
journal= {arXiv preprint arXiv:2604.08326},
year = {2026}
}
备注
ACL 2026