通过选择性平均上下文嵌入建模名词的通用属性
计算与语言
2021-05-18 v2 人工智能
摘要
尽管预训练语言模型的成功已在许多 NLP 应用中基本消除了对高质量静态词向量的需求，此类向量在需要在无语言上下文情况下对词建模的任务中仍发挥着重要作用。本文探讨如何利用 BERT 预测的上下文嵌入为这类领域（尤其与知识库补全相关、以捕捉名词语义属性为重点的领域）生成高质量词向量。我们发现，对掩码词提及的上下文嵌入进行平均的简单策略，在属性归纳任务中优于 BERT 习得的静态词向量以及标准词嵌入模型的向量。我们特别注意到，掩码目标词对于取得这一强劲性能至关重要，因为所得向量较少关注特异性属性而更多关注通用语义属性。受此观点启发，我们提出了一种旨在去除最具特异性提及向量的过滤策略，从而在属性归纳中获得进一步的性能提升。
引用
@article{arxiv.2012.07580,
title = {Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings},
author = {Na Li and Zied Bouraoui and Jose Camacho Collados and Luis Espinosa-Anke and Qing Gu and Steven Schockaert},
journal= {arXiv preprint arXiv:2012.07580},
year = {2021}
}