广义量词作为多语言自然语言理解基准中的错误来源
计算与语言
2022-05-23 v2 计算机科学中的逻辑
摘要
自19世纪以来，语言的逻辑表示方法已开发并评估了量词的计算模型，但当今的自然语言理解（NLU）模型仍难以捕捉其语义。我们依赖广义量词理论（Generalized Quantifier Theory）对量词语义进行语言无关的表示，以量化它们对NLU模型错误的贡献。我们发现量词在NLU基准中普遍存在，其在测试时出现与性能下降相关。多语言模型也表现出不尽如人意的量词推理能力，但对于非英语语言未必更差。为便于直接针对性的探测，我们提出了一个对抗性广义量词自然语言推理任务（GQNLI），并表明预训练语言模型在广义量词推理方面明显缺乏鲁棒性。
引用
@article{arxiv.2204.10615,
title = {Generalized Quantifiers as a Source of Error in Multilingual NLU Benchmarks},
author = {Ruixiang Cui and Daniel Hershcovich and Anders Søgaard},
journal= {arXiv preprint arXiv:2204.10615},
year = {2022}
}
备注
To appear at NAACL 2022