将词语置于 BERT 口中：用伪词导航上下文向量空间
计算与语言
2021-10-05 v2
摘要
我们提出一种探索上下文向量空间（特别是 BERT 空间）中单个点周围区域的方法，以此考察这些区域如何对应于词义。通过在输入层诱导一个上下文“伪词”作为静态嵌入的替代，并对句中某个词进行掩码预测，我们得以在受控方式下考察 BERT 空间在单个实例周围的几何结构。我们在针对歧义英文词精心构造的句子集上运用该方法，发现上下文空间具有显著规律性，存在对应于不同词义的区域；但在这些区域之间偶尔出现“词义空洞”——即不对应于任何可理解词义的区域。
引用
@article{arxiv.2109.11491,
title = {Putting Words in BERT's Mouth: Navigating Contextualized Vector Spaces with Pseudowords},
author = {Taelin Karidi and Yichu Zhou and Nathan Schneider and Omri Abend and Vivek Srikumar},
journal= {arXiv preprint arXiv:2109.11491},
year = {2021}
}
备注
EMNLP 2021 camera-ready version