Transformer 能在自然语言中正确跳跃吗？评估从 SCAN 的性能迁移
计算与语言
2021-09-17 v2 人工智能
机器学习
摘要
尽管取得了实际成功，现代 seq2seq 架构在几个 SCAN 任务上无法进行系统性泛化。因此，尚不清楚 SCAN 式的组合泛化在现实 NLP 任务中是否有用。在这项工作中，我们研究了这种组合性给几个机器翻译任务带来的好处。我们提出了 Transformer 的几个针对性修改，这些修改极大地提高了在 SCAN 上的泛化能力，并选择了一个在标准机器翻译（MT）任务上与普通 Transformer 保持一致的修改。接下来，我们研究了它在低资源设置以及新引入的分布偏移英法翻译任务上的性能。总体而言，我们发现 SCAN 能力模型的改进不会直接迁移到资源丰富的 MT 设置中。相反，在低资源设置中，通用修改相对于普通 Transformer 带来了高达 13.1% BLEU 分数的提升。类似地，在引入的组合英法翻译任务中，基于准确率的指标实现了 14% 的提升。这提供了实验证据，表明 SCAN 评估的组合泛化在资源匮乏和领域偏移场景中特别有用。
引用
@article{arxiv.2107.01366,
title = {Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN},
author = {Rahma Chaabouni and Roberto Dessì and Eugene Kharitonov},
journal= {arXiv preprint arXiv:2107.01366},
year = {2021}
}
备注
BlackboxNLP workshop, EMNLP 2021