结合改进距离加权与窗口大小调度学习词嵌入
计算与语言
2024-07-30 v2 机器学习
摘要
分布式词表示（又称词嵌入）是自然语言处理（NLP）中的一个关键焦点。作为一种高度成功的词嵌入模型，Word2Vec 提供了一种在大规模数据集上学习分布式词表示的高效方法。然而，Word2Vec 缺乏对中心词与上下文词之间距离的考量。我们提出了两种新颖的方法：可学习公式权重（LFW）和基于轮次的动态窗口大小（EDWS），以将距离信息引入 Word2Vec 的两种变体，即连续词袋模型（CBOW）和连续 Skip-gram 模型中。对于 CBOW，LFW 使用一个带有可学习参数的公式来最好地反映词之间的影响与距离关系，从而为平均池化计算与距离相关的权重，为未来的 NLP 文本建模研究提供启示。对于 Skip-gram，我们改进了其动态窗口大小策略，以更均衡的方式引入距离信息。实验证明了 LFW 和 EDWS 在提升 Word2Vec 性能方面的有效性，超越了先前最先进的方法。
引用
@article{arxiv.2404.14631,
title = {Learning Word Embedding with Better Distance Weighting and Window Size Scheduling},
author = {Chaohao Yang and Chris Ding},
journal= {arXiv preprint arXiv:2404.14631},
year = {2024}
}