spaCy 中的多哈希嵌入
计算与语言
2022-12-20 v1
摘要
符号的分布式表示是当今机器学习系统的关键技术之一，在现代自然语言处理中扮演着关键角色。传统的词嵌入为每个词关联一个单独的向量。虽然这种方法简单且性能良好，但表示一个大词汇表需要大量内存。为了减少内存占用，spaCy 中的默认嵌入层是一个哈希嵌入层。它是传统嵌入的一种随机近似，能为大量词汇提供唯一的向量，而无需为每个词显式存储一个单独的向量。为了能够为已知词和未知词计算有意义的表示，哈希嵌入将每个词表示为规范化词形、子词信息和词形的汇总。这些特征共同产生了一个词的多重嵌入。在本技术报告中，我们梳理了一些历史，并详细介绍了 spaCy 中的嵌入方法。其次，我们在来自多种领域和语言的命名实体识别数据集上，批判性地评估了带有多重嵌入的哈希嵌入架构。实验验证了 spaCy 嵌入器背后的大多数关键设计选择，但我们也发现了一些令人惊讶的结果。
引用
@article{arxiv.2212.09255,
title = {Multi hash embeddings in spaCy},
author = {Lester James Miranda and Ákos Kádár and Adriane Boyd and Sofie Van Landeghem and Anders Søgaard and Matthew Honnibal},
journal= {arXiv preprint arXiv:2212.09255},
year = {2022}
}