无系统性的泛化：论序列到序列循环网络的组合能力
计算与语言
2018-06-08 v3 人工智能
机器学习
摘要
得益于其组合能力，人类可以毫不费力地理解和产生新的话语。一旦一个人学习了新动词“dax”的含义，他或她就能立即理解“dax twice”或“sing and dax”的含义。在本文中，我们引入SCAN领域，由一组简单的组合导航命令与相应动作序列配对组成。然后我们测试用序列到序列方法在SCAN上训练的各种循环神经网络(RNNs)的零样本泛化能力。我们发现，当训练与测试命令之间的差异较小时，RNNs可以成功进行零样本泛化，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统性组合能力时(如上述“dax”示例)，RNNs惨败。我们以神经机器翻译的概念验证实验结束，表明缺乏系统性可能部分归因于神经网络臭名昭著的训练数据渴求。
引用
@article{arxiv.1711.00350,
title = {Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks},
author = {Brenden M. Lake and Marco Baroni},
journal= {arXiv preprint arXiv:1711.00350},
year = {2018}
}
备注
Published at the 35th International Conference on Machine Learning (ICML 2018)