关于带负采样的 SkipGram 词嵌入模型：统一框架与噪声分布的影响
计算与语言
2025-12-03 v2 机器学习
机器学习
摘要
带负采样的 SkipGram 词嵌入模型（简称 SGN）是一类优雅的词嵌入模型。在本文中，我们构建了一个词嵌入框架，称为词-上下文分类（WCC），将 SGN 推广至广泛的模型族。该框架使用一些“噪声样本”，并通过理论分析加以论证。通过实验研究了噪声分布对 WCC 嵌入模型学习的影响，表明就嵌入性能和训练收敛速度而言，最佳噪声分布实际上是数据分布。在此过程中，我们发现了几种优于现有 WCC 模型的新型嵌入模型。
引用
@article{arxiv.2009.04413,
title = {On SkipGram Word Embedding Models with Negative Sampling: Unified Framework and Impact of Noise Distributions},
author = {Dezhi Liu and Richong Zhang and Ziqiao Wang},
journal= {arXiv preprint arXiv:2009.04413},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication