SemEval-2024任务9：BRAINTEASER——一项挑战常识的新任务
人工智能
2024-04-26 v1 计算与语言
机器学习
摘要
纵向思维依赖于逻辑和常识推理，而横向思维则要求系统打破常识关联并通过非常规思维将其覆盖。横向思维已被证明对当前模型具有挑战性，但受到的关注甚少。最近的基准测试BRAINTEASER旨在评估当前模型在零样本设置下的横向思维能力。在本文中，我们对原始基准进行了拆分以支持微调设置，并介绍了SemEval任务9：BRAIN-TEASER(S)，这是本次竞赛中首个旨在测试系统推理和横向思维能力的任务。作为一项热门任务，BRAINTEASER(S)的两个子任务在竞赛期间收到了来自182名参与者的483份团队提交。本文对竞赛结果进行了细粒度的系统分析，并反思了这对系统横向推理能力的意义。我们希望BRAINTEASER(S)子任务及本文的发现能够激发未来关于计算模型横向思维和稳健推理的研究。
引用
@article{arxiv.2404.16068,
title = {SemEval-2024 Task 9: BRAINTEASER: A Novel Task Defying Common Sense},
author = {Yifan Jiang and Filip Ilievski and Kaixin Ma},
journal= {arXiv preprint arXiv:2404.16068},
year = {2024}
}