iREL at SemEval-2024 Task 9: 改进常规提示方法用于脑筋急转脑
计算与语言
2024-05-28 v1
摘要
本文描述了我们方法用于 SemEval-2024 Task 9：BRAINTEASER：颠覆常识的新型任务。BRAINTEASER 任务包含多选问答，旨在评估模型的类比思维能力。其包含句子拼图和单词拼图子任务，需要模型违背默认常识关联，展现非常规思维。我们提出了独特策略，显著提升预训练语言模型（尤其是 Gemini 1.0 Pro 模型）在两项子任务中的性能。我们采用静态和动态 few-shot 提示技术，引入模型生成的推理策略，利用 LLM 的推理能力提升性能。我们的方法展现了显著性改进，表明其优于基线模型，虽在准确度上未达人类标注员水平，从而凸显了所提策略的有效性。
关键词
引用
@article{arxiv.2405.16129,
title = {iREL at SemEval-2024 Task 9: Improving Conventional Prompting Methods for Brain Teasers},
author = {Harshit Gupta and Manav Chaudhary and Tathagata Raha and Shivansh Subramanian and Vasudeva Varma},
journal= {arXiv preprint arXiv:2405.16129},
year = {2024}
}