论人工神经网络中的绑定问题
神经与进化计算
2020-12-10 v1 人工智能
机器学习
摘要
当代神经网络仍未能达到人类水平的泛化能力，而后者远远超出我们的直接经验。在本文中，我们认为这一缺陷的根本原因在于它们无法动态且灵活地对分布于网络各处的信息进行绑定。这一绑定问题影响了它们以类符号实体（如物体）对世界获得组合性理解的能力，而这对于以可预测且系统化的方式泛化至关重要。为解决此问题，我们提出了一个统一框架，其核心围绕从非结构化感官输入中形成有意义的实体（分离）、在表征层面维持这种信息分离（表征），以及利用这些实体构建新的推断、预测和行为（组合）。我们的分析从神经科学与认知心理学的丰富研究中汲取灵感，并综述了机器学习文献中的相关机制，以帮助识别一组归纳偏置，使符号信息处理能够在神经网络中自然涌现。我们认为，以接地类符号表征为基础的组合性人工智能方法，对于实现人类水平的泛化具有根本重要性，并希望本文能作为参考与启发，为这一目标做出贡献。
引用
@article{arxiv.2012.05208,
title = {On the Binding Problem in Artificial Neural Networks},
author = {Klaus Greff and Sjoerd van Steenkiste and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2012.05208},
year = {2020}
}