抽象、推理与深度学习：“外观数列”研究

抽象、计数以及使用 System 2 推理的能力是智能与理解的众所周知的表现。在本文中，我们以“外观数列”谜题为例论证，尽管深度神经网络在大型数据集（在我们的例子中为 200 万个样本）上训练时可以表现出很高的“能力”（以准确率衡量），但它们没有表现出对问题有更深层理解，或者 D. Dennett 所称的“领悟”的任何迹象。我们报告了两组实验：首先，计算序列的下一个元素；然后，计算前一个元素。我们将这两个问题视为构建从一个标记集到另一个标记集的翻译器。我们应用标准的 LSTM 和基于 Transformer/Attention 的神经网络，使用公开可用的机器翻译软件。我们观察到，尽管准确率惊人，但训练好的程序在实际的“外观数列”序列上表现糟糕，并且没有表现出对序列背后原理的理解。这一发现的推论包括：（1）从认知科学的角度来看，我们认为我们需要更好的抽象数学模型；（2）对于作用于离散数据集上的函数，应重新审视神经网络的普适性；（3）我们假设拓扑学可以在不参考距离概念的情况下提供一个定义。