COMPS：用于测试预训练语言模型鲁棒属性知识及其继承能力的概念最小对句集
计算与语言
2023-02-10 v4 人工智能
摘要
人类语义认知的一个特征性能力是，不仅能存储和检索通过经验观察到的概念属性，还能促进属性（会呼吸）从上位概念（动物）向其下位概念（狗）的继承——即表现出属性继承。本文提出 COMPS，一组最小对句，联合测试预训练语言模型（PLMs）将属性赋予概念的能力以及表现属性继承行为的能力。对 COMPS 上 22 个不同 PLM 的分析表明，当概念差异显然时，它们能轻易基于某一属性区分概念，但当概念基于细微知识表示相关联时则相对困难。此外，我们发现 PLM 在很大程度上能表现出与属性继承一致的行为，但在存在干扰信息时会失败，这降低了许多模型的性能，有时甚至低于随机水平。这种在展现简单推理时缺乏鲁棒性，引发了关于 PLM 即便看似具备前提知识时能否做出正确推断的重要疑问。
引用
@article{arxiv.2210.01963,
title = {COMPS: Conceptual Minimal Pair Sentences for testing Robust Property Knowledge and its Inheritance in Pre-trained Language Models},
author = {Kanishka Misra and Julia Taylor Rayz and Allyson Ettinger},
journal= {arXiv preprint arXiv:2210.01963},
year = {2023}
}
备注
EACL 2023 Camera Ready version. Code can be found at https://github.com/kanishkamisra/comps