WiCkeD：提高多选基准测试难度的简单方法
计算与语言
2025-02-26 v1
摘要
我们提出 WiCkeD，一种简单方法以增加现有多选基准测试的复杂性，通过随机替换选项中的一个选项为 "None of the above"，这种方法常用于教育测试中。我们展示 WiCkeD 可以自动应用于任何现有基准测试，使其更具挑战性。我们将 WiCkeD 应用于 6 个流行基准测试，并用于评估 18 个开源 LLM。相对于原始数据集版本，模型性能平均下降 12.1 分。当在 3 个 MMLU 数据集上使用链式思考时，WiCkeD 变体的性能下降与直接使用 LLM 的情况相似，表明 WiCkeD 也对具有增强推理能力的模型具有挑战性。WiCkeD 还揭示了某些模型对额外推理要求更敏感，为原始基准测试提供了额外信息。我们在 https://github.com/ahmedselhady/wicked-benchmarks 上发布了代码和数据。
引用
@article{arxiv.2502.18316,
title = {WiCkeD: A Simple Method to Make Multiple Choice Benchmarks More Challenging},
author = {Ahmed Elhady and Eneko Agirre and Mikel Artetxe},
journal= {arXiv preprint arXiv:2502.18316},
year = {2025}
}