Transformer 是 ELIZA 的现代版本吗？关于法语宾语–动词一致性的观察
计算与语言
2021-09-22 v1
摘要
许多近期工作通过观察神经语言模型能够预测动词与其主语之间的一致性，证明了神经网络的无监督句子表示编码了句法信息。我们批判性地审视这一研究路线，指出仅利用简单的表层启发式方法就能在该一致性任务上取得高准确率，这表明我们对神经网络句法能力的评估可能存在缺陷。我们对法语长距离宾语–动词一致性结果的细粒度分析显示，与 LSTM 不同，Transformer 能够捕捉到相当数量的语法结构。
引用
@article{arxiv.2109.10133,
title = {Are Transformers a Modern Version of ELIZA? Observations on French Object Verb Agreement},
author = {Bingzhi Li and Guillaume Wisniewski and Benoit Crabbé},
journal= {arXiv preprint arXiv:2109.10133},
year = {2021}
}
备注
Camera-ready for EMNLP'21