使用 BERT 进行构式识别与消歧:NPN 的案例研究

Wesley Scivetti; Nathan Schneider

使用 BERT 进行构式识别与消歧:NPN 的案例研究

计算与语言 2025-07-08 v2 人工智能

作者: Wesley Scivetti , Nathan Schneider

摘要

构式语法假设语言知识主要由形式-意义配对("构式")的知识构成,这些配对包括词汇、一般语法规则,甚至特殊模式。最近的研究表明,Transformer 语言模型至少能表示某些构式模式,包括那些整体上较为罕见的构式。在本研究中,我们探查 BERT 对英语中一个次要构式——NPN (名词-介词-名词) 构式(见于 face to face、day to day 等表达)——的形式与意义的表示,该构式已知具有多义性。我们构建了一个带有语义标注的语料实例基准数据集(包括表面上与该构式相似的干扰项)。利用该数据集,我们训练并评估了探查分类器。它们在将该构式与干扰项区分开来,以及对真实构式实例进行义项消歧方面都取得了不错的表现,表明 BERT 嵌入携带了该构式语义的指示。此外,人为地置换真实构式实例的词序会导致它们被拒绝,这表明模型对形式问题具有敏感性。我们得出结论:BERT 确实潜在地编码了至少一些关于 NPN 构式的知识,超越了表层句法模式和词汇线索。

关键词

构式语法 BERT 构式识别义项消歧 NPN 构式探查分类器

引用

@article{arxiv.2503.18751,
  title  = {Construction Identification and Disambiguation Using BERT: A Case Study of NPN},
  author = {Wesley Scivetti and Nathan Schneider},
  journal= {arXiv preprint arXiv:2503.18751},
  year   = {2025}
}

备注

9 pages, ACL long-paper format. Camera-ready version, published at the 29th Conference on Computational Natural Language Learning (CoNLL 2025)

使用 BERT 进行构式识别与消歧:NPN 的案例研究

摘要

关键词

引用

备注

相关论文