Silencer：从发现到缓解 LLM 作为基准生成器中的自我偏差
计算与语言
2025-05-28 v1
摘要
LLM 作为基准生成器的方法作为人类标注者的补充，已被广泛研究用于可扩展评估，但该范式内的潜在偏差仍未得到充分探索。在这项工作中，我们系统地定义并验证了模型在其自生成基准上评估时性能膨胀的现象，称为自我偏差，并将其归因于问题领域、语言风格和错误标签产生的子偏差。在此基础上，我们提出了 Silencer，一个通用框架，利用多个生成器在样本和基准层面的异质性来中和偏差，并生成高质量、消除自我偏差的基准。跨多种设置的实验结果表明，Silencer 可以将自我偏差抑制到接近零，显著提高生成基准的评估有效性（与高质量人工标注基准的 Pearson 相关性平均从 0.655 提升到 0.833），同时展现出强大的泛化能力。
引用
@article{arxiv.2505.20738,
title = {Silencer: From Discovery to Mitigation of Self-Bias in LLM-as-Benchmark-Generator},
author = {Peiwen Yuan and Yiwei Li and Shaoxiong Feng and Xinglin Wang and Yueqi Zhang and Jiayi Shi and Chuyi Tan and Boyuan Pan and Yao Hu and Kan Li},
journal= {arXiv preprint arXiv:2505.20738},
year = {2025}
}