黑鸟语言矩阵（BLMs）：一种研究神经网络解耦泛化的新基准

当前机器学习架构的成功建立在计算代价高昂的算法和极其庞大的数据量之上。我们需要开发任务和数据来训练网络以获得更复杂且更具组合性的技能。在本文中，我们展示了黑鸟语言矩阵（BLMs），这是一个为测试瑞文渐进矩阵的语言变体而构建的新语法数据集，瑞文渐进矩阵通常是一种基于视觉刺激的智力测试。该数据集由44800个句子组成，以生成式方法构建，用于支持对当前模型在语法一致规则上的语言掌握及其泛化能力的研究。我们介绍了该数据集的逻辑、大规模自动构建数据的方法以及学习这些数据的架构。通过对数据集变体的错误分析和若干实验，我们证明该语言任务及其实例化数据提供了一种用于理解泛化和抽象的新且具有挑战性的测试平台。