Health-SCORE：面向改进健康大语言模型的可扩展评分量规
人工智能
2026-01-27 v1 机器学习
摘要
评分量规对于评估开放式 LLM 响应至关重要，尤其是在医疗保健等安全攸关领域。然而，创建高质量且特定领域的评分量规通常需要大量的人力专家时间和开发成本，这使得基于评分量规的评估和训练难以规模化。在本工作中，我们引入了 Health-SCORE，这是一个可泛化且可扩展的基于评分量规的训练和评估框架，它在不牺牲性能的情况下大幅降低了评分量规的开发成本。我们表明，除了独立评估之外，Health-SCORE 还提供了两个实际益处：它可以用作结构化奖励信号，以在安全感知监督下指导强化学习；并且可以直接整合到提示中，通过上下文学习来提高响应质量。在开放式医疗保健任务中，Health-SCORE 实现了与人工创建评分量规相当的评估质量，同时显著降低了开发工作量，使得基于评分量规的评估和训练更具可扩展性。
引用
@article{arxiv.2601.18706,
title = {Health-SCORE: Towards Scalable Rubrics for Improving Health-LLMs},
author = {Zhichao Yang and Sepehr Janghorbani and Dongxu Zhang and Jun Han and Qian Qian and Andrew Ressler and Gregory D. Lyng and Sanjit Singh Batra and Robert E. Tillman},
journal= {arXiv preprint arXiv:2601.18706},
year = {2026}
}