训练神经网络编码符号以实现组合泛化
人工智能
2019-09-24 v2 计算与语言
摘要
组合泛化——理解与生成已由熟悉元素构成的新组合的能力——被视为人类心智的核心能力，也是神经网络模型面临的一大挑战。大量研究表明，常规神经网络无法解决此问题，除非赋予其专为表示符号而设计的机制。本文提出一种以联结主义方式表示符号结构的新方法——表示符号的向量方法（VARS），它允许训练标准神经架构在其输出层显式编码符号知识。在两个仿真中，我们表明神经网络不仅能学会生成VARS表示，而且在此过程中在其符号与非符号输出中实现了组合泛化。这补充了其他近期工作，那些工作在特定训练条件下展示了改进的组合泛化，并提出了是否需要特定机制或训练流程来支持符号处理的问题。
引用
@article{arxiv.1903.12354,
title = {Training neural networks to encode symbols enables combinatorial generalization},
author = {Ivan Vankov and Jeffrey Bowers},
journal= {arXiv preprint arXiv:1903.12354},
year = {2019}
}