所有海豚都聪明且有些很友好：探查 BERT 对名词语义属性及其原型性的表征
计算与语言
2021-10-14 v1
摘要
大规模语言模型在预训练期间通过接触海量数据编码了丰富的常识知识，但其对实体及其语义属性的理解尚不清楚。我们探查 BERT（Devlin 等，2019）对英语名词属性的表征，这些属性由不限制所修饰名词指称范围（如“red car”）而是强调某种内在方面（如“red strawberry”）的形容词表达。我们的研究基于捕捉名词与其语义特征之间关联强度的心理语言学数据集。我们使用完形填空任务及分类设置探查 BERT，表明模型对这些特征及其在这些数据集中所表达的出现频率仅有边缘性知识。我们讨论了使评估具有挑战性并妨碍就模型对名词属性的知识得出一般性结论的因素。最后，我们展示在针对蕴含关系的微调设置中测试时，BERT 成功利用了理解形容词-名词结构含义所需的推理信息，优于先前方法。
引用
@article{arxiv.2110.06376,
title = {ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for Nouns' Semantic Properties and their Prototypicality},
author = {Marianna Apidianaki and Aina Garí Soler},
journal= {arXiv preprint arXiv:2110.06376},
year = {2021}
}
备注
Accepted to BlackboxNLP 2021