BERT的概念制图：映射意义的地貌
计算与语言
2024-08-15 v1
摘要
概念工程师希望让词语变得更好。然而，他们往往低估了我们使用词语方式的多样性。在本文中，我们通过创建概念地貌——表示词语语用使用的二维曲面——迈出了探索词语语境细微差别的第一步，概念工程师可以利用这些地貌来指导他们的项目。我们使用英国国家语料库的口语部分和BERT来创建语境化词嵌入，并使用高斯混合模型、一系列指标和定性分析来可视化和数值化表示词汇地貌。这种方法尚未在概念工程文献中使用，能够详细审视不同词语如何在各种语境中呈现，这对概念工程项目具有潜在用途。我们的发现揭示了概念工程固有的复杂性，表明每个词语都展现出独特而复杂的地貌。因此，概念工程师在改进词语时不能采用一刀切的方法——这项任务在大规模上可能实际上是不可行的。
引用
@article{arxiv.2408.07190,
title = {BERT's Conceptual Cartography: Mapping the Landscapes of Meaning},
author = {Nina Haket and Ryan Daniels},
journal= {arXiv preprint arXiv:2408.07190},
year = {2024}
}