Qworld：面向LLM的问题特定评估标准
摘要
对开放性问题对大型语言模型（LLM）进行评估困难，因为 response quality 取决于 question 的 context。二元评分和 static rubrics 无法捕捉这些 context-dependent 要求。现有方法在 dataset level 定义标准或 single pass 中生成标准，这限制了其探索每个 question 暗示的 evaluation space 的能力。我们引入 One-Question-One-World（Qworld），一种使用递归扩张树生成 question-specific 评估标准的方法。给定 question，Qworld 通过结构化的层级和横向扩张将其分解为 scenarios、perspectives 和 fine-grained 二元标准。 resulting criteria specify what a high-quality answer must address for that question。在 HealthBench 上，Qworld 覆盖89%的 expert-authored criteria，生成79% novel criteria，经 human experts 验证。专家认为 Qworld criteria 在 insight 和 granularity 方面高于 prior methods。在 HealthBench 和 Humanity's Last Exam 上应用于11个前沿LLM时，Qworld 揭示了 long-term impact、equity、error handling 和 cross-disciplinary reasoning 等维度的 capability differences，这些细粒度 rubric 并未加以区分。通过将 criteria generation 表述为对 question-implied evaluation axes 的结构化覆盖，Qworld 实现了针对每个 question 的评估，而非依赖固定 task-level criteria。
关键词
引用
@article{arxiv.2603.23522,
title = {Qworld: Question-Specific Evaluation Criteria for LLMs},
author = {Shanghua Gao and Yuchang Su and Pengwei Sui and Curtis Ginder and Marinka Zitnik},
journal= {arXiv preprint arXiv:2603.23522},
year = {2026}
}