通过幽默和谜语数据增强语言模型中的横向思维

SemEval 2024 BRAINTEASER 任务挑战语言模型执行横向思维——这是一种尚未在 NLP 中得到充分探索的创造性、非线性推理形式。该任务包含两个子任务，句子谜语和词语谜语，需要模型超越常规常识关联。我们提出了一个系统，使用 HuggingFace 的 AutoModelForMultipleChoice 架构对 DeBERTaV3 进行微调。我们通过两种额外数据源来增强提供的训练数据：（1）通过 GPT-4 提示生成的幽默问答数据集，和（2）RiddleSense 数据集。这种数据增强策略是基于观察到的幽默和谜语共享 BRAINTEASER 任务所需的横向推理结构所致。我们的最佳系统在句子谜语子任务中实现了92.5%的总体准确率，在词语谜语子任务中实现了80.2%的准确率，分别位列31支队伍中的第6名和23支队伍中的第10名。我们进一步表明，任务表述方式的选择很重要：将问题表述为多选题而非序列分类，具有相同的基本模型可实现10个百分点的准确率提升。我们的分析显示，与幽默和谜语数据集的增强在句子水平的横向推理方面尤其有效，而词语水平的谜语仍是一个更具挑战性的难题。