若你错过了：ARC 挑战并非如此困难
计算与语言
2024-12-24 v1 人工智能
摘要
ARC 挑战之所以看起来比 ARC Easy 更具挑战性，主要是由于评估设置 preventing 直接比较答案选项，而非固有的复杂性。尽管一些研究人员在过去一年中悄然转向更合适的方案，但这一变化的含义尚未被广泛认识到。我们强调了这一被忽视的转变，展示了类似的评估实践如何错误地暗示其他基准中存在推理缺陷，并演示了更公平的方法如何显著缩小性能差距（例如在 SIQA 上），甚至产生超人类结果（OpenBookQA）。通过这一工作，我们揭示了评估如何塑造 perceived difficulty，并提供确保 multiple-choice 评估准确反映实际模型能力的指南。
引用
@article{arxiv.2412.17758,
title = {In Case You Missed It: ARC 'Challenge' Is Not That Challenging},
author = {Łukasz Borchmann},
journal= {arXiv preprint arXiv:2412.17758},
year = {2024}
}