自然语言上的多步演绎推理：关于分布外泛化的实证研究
计算与语言
2025-04-18 v4 人工智能
机器学习
计算机科学中的逻辑
摘要
将深度学习与符号逻辑推理相结合旨在利用两领域的成功并正受到越来越多的关注。受端到端模型 DeepLogic（训练用于在逻辑程序上执行推理）启发，我们引入 IMA-GloVe-GA，一种用于自然语言表述的多步推理的迭代神经推理网络。在我们的模型中，推理使用基于带门控注意力机制的 RNN 的迭代记忆神经网络执行。我们在三个数据集上评估 IMA-GloVe-GA：PARARULES、CONCEPTRULES V1 与 CONCEPTRULES V2。实验结果表明，带门控注意力的 DeepLogic 可比 DeepLogic 及其他 RNN 基线模型达到更高测试精度。当规则被打乱时，我们的模型比 RoBERTa-Large 取得更好的分布外泛化。此外，为解决当前多步推理数据集中推理深度分布不平衡的问题，我们开发了 PARARULE-Plus，一个含更多需更深推理步骤样例的大型数据集。实验结果显示，加入 PARARULE-Plus 可提升模型在需更深推理深度样例上的表现。源代码与数据可在 https://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Language 获取。
引用
@article{arxiv.2207.14000,
title = {Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation},
author = {Qiming Bao and Alex Yuxuan Peng and Tim Hartill and Neset Tan and Zhenyun Deng and Michael Witbrock and Jiamou Liu},
journal= {arXiv preprint arXiv:2207.14000},
year = {2025}
}
备注
10 pages, 3 figures, The 2nd International Joint Conference on Learning & Reasoning and 16th International Workshop on Neural-Symbolic Learning and Reasoning (IJCLR-NeSy 2022)