一种用于抽象规则学习的记忆增强神经网络模型
人工智能
2020-12-16 v2 机器学习
摘要
人类智能的特征在于从经验推断抽象规则并将这些规则应用于新颖领域的卓越能力。因此，设计具备此种能力的神经网络算法是开发更具类人智能深度学习系统的重要一步。然而，这是一项重大的未决挑战，有人主张其将要求神经网络使用显式符号处理机制。本工作中，我们关注神经网络对任意角色-填充项绑定的能力，即将抽象“角色”与特定上下文“填充项”相关联的能力，许多人认为这是抽象地学习并应用规则的重要机制。利用 Raven 渐进矩阵（一项人类智能的标志性测试）的简化版本，我们引入了一种视觉问题求解任务的序列式表述，其要求此种形式的绑定。此外，我们引入涌现符号绑定网络（ESBN），一种学习使用外部记忆作为绑定机制的循环神经网络模型。该机制使得类符号的变量表示在 ESBN 的训练过程中涌现，而无需显式符号处理机制。我们经实验证明，ESBN 成功学习了我们任务的底层抽象规则结构，并将该规则结构完美泛化至新颖填充项。
引用
@article{arxiv.2012.07172,
title = {A Memory-Augmented Neural Network Model of Abstract Rule Learning},
author = {Ishan Sinha and Taylor W. Webb and Jonathan D. Cohen},
journal= {arXiv preprint arXiv:2012.07172},
year = {2020}
}