gSCAN上的系统性泛化：哪些已近乎解决，哪些亟待下一步？
计算与语言
2021-09-28 v1
摘要
我们分析了近期提出的用于研究接地语言理解中系统性泛化的接地SCAN（gSCAN）基准。首先，我们研究了多模态研究中常用方法可解决原始基准的哪些方面。我们发现，带有跨模态注意力的通用Transformer模型在gSCAN大多数切分上取得了强劲性能，令人惊讶地优于先前工作中更专门的方法。此外，我们的分析表明，许多剩余错误揭示了无论视觉上下文如何，语言结构系统性泛化中相同的根本挑战。其次，受此发现启发，我们通过生成数据以纳入视觉环境中对象间关系，提出了gSCAN上具有挑战性的新任务。最后，我们发现鉴于gSCAN中指令范围狭窄，当前模型的数据效率令人惊讶地低，这为未来工作提出了另一挑战。
引用
@article{arxiv.2109.12243,
title = {Systematic Generalization on gSCAN: What is Nearly Solved and What is Next?},
author = {Linlu Qiu and Hexiang Hu and Bowen Zhang and Peter Shaw and Fei Sha},
journal= {arXiv preprint arXiv:2109.12243},
year = {2021}
}
备注
EMNLP 2021