用于学习符号规则的神经序列到网格模块
机器学习
2021-04-28 v2 人工智能
计算与语言
摘要
对符号的逻辑推理任务，例如学习算术运算和计算机程序求值，已成为深度学习的挑战。特别是，即使是最先进的神经网络也无法实现符号推理任务的分布外(OOD)泛化，而人类可以轻易扩展习得的符号规则。为解决这一困难，我们提出一种神经序列到网格(seq2grid)模块，这是一种自动将输入序列分割并对齐为网格的输入预处理器。由于我们的模块通过一种新颖的可微映射输出网格，任何接受网格输入的神经网络结构，如ResNet或TextCNN，都可与我们的模块以端到端方式联合训练。大量实验表明，以我们的模块作为输入预处理器的神经网络在各种算术和算法问题上实现了OOD泛化，包括数字序列预测问题、代数文字题和计算机程序求值问题，而其他最先进的序列转导模型则不能。此外，我们验证了我们的模块增强了TextCNN以解决bAbI问答任务而无需外部记忆。
引用
@article{arxiv.2101.04921,
title = {Neural Sequence-to-grid Module for Learning Symbolic Rules},
author = {Segwang Kim and Hyoungwook Nam and Joonyoung Kim and Kyomin Jung},
journal= {arXiv preprint arXiv:2101.04921},
year = {2021}
}
备注
9 pages, 9 figures, AAAI 2021