AILS-NTUA 参加 SemEval-2024 任务 9：破解脑筋急转弯：用于横向思维谜题的 Transformer 模型
计算与语言
2024-04-02 v1 人工智能
摘要
在本文中，我们概述了我们对 SemEval-2024 任务 9 竞赛“BRAINTEASER: A Novel Task Defying Common Sense”的提交。我们参与了两个子任务：子任务 A-句子谜题和子任务 B-文字谜题。我们通过微调评估了大量不同规模的预训练基于 Transformer 的语言模型。随后，我们对它们的得分和响应进行了分析，以帮助未来的研究人员有效地理解和使用这些模型。我们表现最佳的方法在两个子任务的竞赛排行榜上均获得了有竞争力的名次。在评估阶段，我们最佳的提交在句子谜题中达到了 81.7% 的平均准确率，在文字谜题中达到了 85.4% 的平均准确率，分别比最佳神经基线（ChatGPT）高出 20% 和 30% 以上。
引用
@article{arxiv.2404.01084,
title = {AILS-NTUA at SemEval-2024 Task 9: Cracking Brain Teasers: Transformer Models for Lateral Thinking Puzzles},
author = {Ioannis Panagiotopoulos and Giorgos Filandrianos and Maria Lymperaiou and Giorgos Stamou},
journal= {arXiv preprint arXiv:2404.01084},
year = {2024}
}
备注
SemEval-2024