中文

UFAL-CUNI 参加 SemEval-2026 任务 11:一种用于三段论推理的高效模块化神经符号方法

计算与语言 2026-05-07 v1

摘要

本文描述了我们提交给 SemEval-2026 任务 11:在大型语言模型中解耦内容与形式推理的系统。我们提出了一种高效的模块化神经符号方法,将符号证明器与小型推理 LLMs(4B 参数)相结合。该系统由一个基于 LLM 的解析器(将自然语言三段论转化为谓词逻辑(FOL)表示)、一个自动定理证明器以及两个可选模块组成:用于多语言输入的机器翻译组件,以及用于识别相关前提的符号检索组件。该系统在大多数子任务上实现了具有竞争力的准确率和相对较低的内容效应。我们的消融实验表明,该方法在该参数规模范围内优于基于 LLM 的零样本基线,但也揭示了小型 LLMs 在多语言能力上的局限性。最后,我们对该任务的主要排名指标进行了讨论,并分析了其局限性。

关键词

引用

@article{arxiv.2605.04941,
  title  = {UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning},
  author = {Ivan Kartáč and Kristýna Onderková and Jan Bronec and Zdeněk Kasner and Mateusz Lango and Ondřej Dušek},
  journal= {arXiv preprint arXiv:2605.04941},
  year   = {2026}
}

备注

Accepted at SemEval-2026