研究发现 CNN 比 RNN 更熟练地跳来跳去：序列到序列卷积网络中的组合泛化
计算与语言
2019-05-22 v1 人工智能
机器学习
摘要
Lake 和 Baroni（2018）引入了 SCAN 数据集，用以探测序列到序列模型捕捉组合泛化的能力，例如从组成词 0-shot 推断“jump around”的含义。研究发现循环网络（RNN）在最具挑战性的泛化案例中完全失败。我们在此对这些任务测试卷积网络（CNN），报告相对于 RNN 的巨大性能提升。尽管有巨大提升，CNN 并未归纳出系统性规则，这表明组合与非组合行为之间的差别并非泾渭分明。
引用
@article{arxiv.1905.08527,
title = {CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks},
author = {Roberto Dessì and Marco Baroni},
journal= {arXiv preprint arXiv:1905.08527},
year = {2019}
}
备注
accepted as a short paper at ACL 2019