在大型语料库中识别新兴概念
计算与语言
2025-03-03 v1 计算机与社会
摘要
我们提出一种新方法,用于识别大型文本语料库中的新兴概念。通过分析底层嵌入空间热图的变化,我们能够在概念产生后不久就以高准确率检测这些概念,从而超越常见的替代方法。我们进一步通过分析 1941 年至 2015 年间的美国参议院演讲,展示了该方法的实用性。我们的结果表明,少数党在引入新概念方面更活跃。我们还识别出与参议员种族、民族和性别身份密切相关的具体概念。该方法的实现已公开available。
引用
@article{arxiv.2502.21315,
title = {Identifying Emerging Concepts in Large Corpora},
author = {Sibo Ma and Julian Nyarko},
journal= {arXiv preprint arXiv:2502.21315},
year = {2025}
}
备注
9 pages, 4 figures