涌现语言学习中的容量、带宽与组合性

许多近期工作讨论了涌现语言表现或缺乏自然语言特性的倾向。文献中备受青睐的一个特性是学习组合性。我们注意到，这些工作大多将通信带宽视为最重要的因素。尽管带宽重要，但它并非唯一的影响因素。本文研究了影响涌现语言效能与组合性的学习偏置。我们的首要贡献是探索神经网络容量如何影响其学习组合语言的能力。此外，我们引入了一组评估指标，用以分析所学语言。我们的假设是，应存在一个特定的模型容量与信道带宽范围，能够诱导所得语言中的组合结构，从而促进系统性泛化。虽然我们在经验上看到了该范围下限的证据，但奇怪地未发现上限部分的证据，并认为这是领域内的一个开放问题。