用神经网络建模恒等规则

在本文中，我们表明标准前馈与循环神经网络无法学习基于恒等规则的抽象模式。我们提出基于关系模式（RBP）的神经网络结构扩展来解决此问题，并回答以及提出关于将归纳偏置结构整合进神经网络的问题。抽象模式的例子有序列模式 ABA 与 ABB，其中 A 或 B 可为任意对象。这些由 Marcus 等人（1999）引入，他们也发现 7 个月大婴儿能使用陌生词汇识别这些序列中的模式，而简单循环神经网络不能。该结果在文献中有争议，但被我们的实验证实。我们还表明泛化能力的缺失延伸至不同的、先前未测试的设置。我们提出一种修改标准神经网络结构的新方法，称为基于关系模式（RBP），有用于分类与预测的不同变体。我们的实验显示，具有适当 RBP 结构的神经网络在合成数据（包括混合具体与抽象模式）上达到完美分类与预测性能。RBP 也提升了神经网络在真实世界序列预测任务实验中的表现。我们针对神经网络模型的挑战讨论了这些发现，并指出了该结果对发展神经网络学习归纳偏置的影响。