跳向更好的结论：左右双向扫描 SCAN
计算与语言
2020-06-22 v2
摘要
Lake 和 Baroni（2018）最近引入了 SCAN 数据集，该数据集由简单命令与动作序列配对组成，旨在测试循环序列到序列模型的强泛化能力。他们最初的实验表明，此类模型可能失败是因为缺乏提取系统性规则的能力。在此，我们仔细审视 SCAN，表明它并不总是能捕捉其设计所针对的泛化类型。为缓解此问题，我们提出一个互补的数据集，需要将动作映射回原始命令，称为 NACS。我们表明，在 SCAN 上表现良好的模型未必在 NACS 上表现良好，且 NACS 展现出的性质与序列到序列模型的真实用例更为契合。
引用
@article{arxiv.1809.04640,
title = {Jump to better conclusions: SCAN both left and right},
author = {Jasmijn Bastings and Marco Baroni and Jason Weston and Kyunghyun Cho and Douwe Kiela},
journal= {arXiv preprint arXiv:1809.04640},
year = {2020}
}