视觉基础神经句法习得中学到了什么
计算与语言
2020-05-20 v2
摘要
视觉特征是学习引导文本模型的一个有前景的信号。然而，黑盒学习模型使得难以隔离视觉组件的具体贡献。在这项分析中，我们考虑视觉基础神经句法学习器(Shi et al., 2019)的案例研究，这是一种从视觉训练信号学习句法的近期方法。通过构建模型的简化版本，我们隔离了产生模型强大性能的核心因素。与模型可能能够学习的内容相反，我们发现表达能力显著较弱的版本产生类似的预测，并且表现同样好甚至更好。我们还发现，名词具体性的简单词汇信号在模型预测中起主要作用，而不是更复杂的句法推理。
引用
@article{arxiv.2005.01678,
title = {What is Learned in Visually Grounded Neural Syntax Acquisition},
author = {Noriyuki Kojima and Hadar Averbuch-Elor and Alexander M. Rush and Yoav Artzi},
journal= {arXiv preprint arXiv:2005.01678},
year = {2020}
}
备注
In ACL 2020