全新一代 GloVe 模型
计算与语言
2025-07-25 v1 机器学习
摘要
本报告记录、描述和评估了新的 2024 年英语 GloVe（Global Vectors for Word Representation）模型。虽然原始 GloVe 模型于 2014 年构建，已被广泛使用且 found useful，但语言和世界正在不断演变，我们认为当前使用情况可以从新模型中受益。此外，2014 年的模型在确切的数据版本和预处理方式方面未进行严谨记录，本文通过详细记录这些新模型来弥补这一不足。我们使用 Wikipedia、Gigaword 和 Dolma 的子集训练了两套词向量。通过词汇比较、直接测试和命名实体识别（NER）任务的评估显示，2024 年的词向量包含新的文化和语言相关词汇，在类比和相似性等结构任务上性能相当，但在最近的、具有时序性的命名实体识别数据集（如非西方新闻数据）上表现出改进的性能。
引用
@article{arxiv.2507.18103,
title = {A New Pair of GloVes},
author = {Riley Carlson and John Bauer and Christopher D. Manning},
journal= {arXiv preprint arXiv:2507.18103},
year = {2025}
}