孪生循环网络学习一阶逻辑推理并展现零样本组合泛化能力
人工智能
2019-06-04 v1 计算与语言
机器学习
摘要
神经网络能学习逻辑吗？我们用当前方法探讨这一经典问题，并证明循环神经网络能够学会识别一阶谓词逻辑表达式之间的逻辑蕴含关系。我们定义了一种一阶谓词逻辑中的人工语言，生成了大量样本“句子”数据集，并使用自动定理证明器推断此类随机句子对之间的关系。我们描述了一种训练用于预测逻辑关系的孪生神经架构，并尝试了循环与递归网络。孪生循环网络（Siamese Recurrent Networks）在蕴含识别任务上出奇地成功，在对新句子（由已知词构成）上达到近乎完美的性能，甚至优于递归网络。我们报告了一系列实验以测试模型执行组合泛化的能力。特别地，我们研究它们如何处理未见长度的句子以及包含未见词的句子。我们展示了使用LSTM和GRU的设置在这些测试上获得高分，展示了一种组合性形式。
引用
@article{arxiv.1906.00180,
title = {Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization},
author = {Mathijs Mul and Willem Zuidema},
journal= {arXiv preprint arXiv:1906.00180},
year = {2019}
}
备注
12 pages, 5 figures