神经符号机：在弱监督下学习 Freebase 上的语义解析器
计算与语言
2017-04-25 v4 人工智能
机器学习
摘要
当需要对大型知识库执行高效的离散操作时，利用神经网络的统计能力来进行语言理解和符号推理是困难的。在这项工作中，我们引入了一种神经符号机（Neural Symbolic Machine），它包含：(a) 一个神经“程序员”，即一个将语言话语映射为程序并利用关键变量记忆来处理组合性的序列到序列模型；(b) 一个符号“计算机”，即一个执行程序运行并通过剪枝搜索空间来帮助寻找优良程序的 Lisp 解释器。我们应用 REINFORCE 算法直接优化这一结构化预测问题的任务奖励。为了在弱监督下进行训练并提高 REINFORCE 的稳定性，我们将其与迭代最大似然训练过程相结合。NSM 在仅使用问答对进行训练时，在 WebQuestionsSP 数据集上的表现优于最先进水平（SOTA），且无需任何特征工程或领域特定知识。
引用
@article{arxiv.1611.00020,
title = {Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision},
author = {Chen Liang and Jonathan Berant and Quoc Le and Kenneth D. Forbus and Ni Lao},
journal= {arXiv preprint arXiv:1611.00020},
year = {2017}
}
备注
ACL 2017 camera ready version