大象的形状：词嵌入空间的宏观性质研究
计算与语言
2021-06-15 v1 机器学习
摘要
预训练词表示已成为许多 NLP 任务的关键组件。然而，词嵌入的全局几何仍鲜为人知。在本文中，我们证明典型的词嵌入云形状为高维单纯形，具有可解释的端点，并提出了一种简单而有效的方法来枚举这些端点。我们表明，所提方法能够检测并描述 GloVe 与 fasttext 空间中单纯形的端点。
引用
@article{arxiv.2106.06964,
title = {Shape of Elephant: Study of Macro Properties of Word Embeddings Spaces},
author = {Alexey Tikhonov},
journal= {arXiv preprint arXiv:2106.06964},
year = {2021}
}
备注
3 pages, 2 figures, EEML-2021 poster