词嵌入方法是否稳定，我们又是否应在意？
计算与语言
2024-06-13 v2 信息检索
摘要
若一种表示学习方法能在多次运行中持续生成给定数据相似的表示，则被认为是稳定的。词嵌入方法（WEMs）是一类为给定文本数据中每个词生成稠密向量表示的表示学习方法。本文的核心思想是借助基于词相似度的内在评测来探索词嵌入方法的稳定性度量。我们使用三种流行的词嵌入方法开展实验：Word2Vec、GloVe和fastText。对于稳定性度量，我们考察了训练这些模型所涉及的五个参数的影响。我们使用来自不同领域的四个真实数据集进行实验：维基百科、新闻、歌词和欧洲议会会议记录。我们还观察了词嵌入方法稳定性在三个下游任务上的影响：聚类、词性标注和公平性评估。我们的实验表明，在这三种词嵌入方法中，fastText最稳定，其次是GloVe和Word2Vec。
引用
@article{arxiv.2104.08433,
title = {Are Word Embedding Methods Stable and Should We Care About It?},
author = {Angana Borah and Manash Pratim Barman and Amit Awekar},
journal= {arXiv preprint arXiv:2104.08433},
year = {2024}
}
备注
Accepted to ACM Hypertext 2021