混合问题形式下指令边界处 LLM 偏差的量化
计算与语言
2026-01-08 v4
摘要
大语言模型（LLM）标注数据集目前被广泛使用，然而，大规模标注往往在低质量数据集中表现出偏差。例如，具有单一正确选项的多项选择题（MCQ）数据集很常见，但可能存在被归为无正确选项或多个正确选项的问题；而判断题本应标注为真或假，但同样文本可能包含不可解元素，应进一步标注为未知。当包含混合问题形式的低质量数据集无法被识别时，就会产生问题。我们将这些异常标签形式称为稀疏标签（Sparse Labels），LLM 区分稀疏标签混合数据集的能力至关重要。由于用户可能不了解数据集的情况，其指令可能存在偏差。为研究不同指令设置如何影响 LLM 对稀疏标签混合的识别，我们引入了指令边界（Instruction Boundary）的概念，系统性地评估导致偏差的各类指令设置。我们提出了 BiasDetector，一个诊断基准，用于在指令边界设置下系统性地评估 LLM 在混合问题形式数据集上的表现。实验表明，用户的指令在我们的基准上诱导了显著偏差，这凸显了 LLM 开发者不仅需要认识到 LLM 偏差标注导致稀疏标签混合的风险，还需要认识到用户指令在识别这些问题时产生的问题。代码、数据集和详细实现可在 https://github.com/ZpLing/Instruction-Boundary 获取。
引用
@article{arxiv.2509.20278,
title = {Quantifying LLM Biases Across Instruction Boundary in Mixed Question Forms},
author = {Zipeng Ling and Shuliang Liu and Yuehao Tang and Chen Huang and Gaoyang Jiang and Shenghong Fu and Junqi Yang and Yao Wan and Jiawan Zhang and Kejia Huang and Xuming Hu},
journal= {arXiv preprint arXiv:2509.20278},
year = {2026}
}